På 1860-talet bestämdes att bebyggelsen i Hästholmens by skulle bibehållas samlad

Åkeruppodlingen fortsatte i mindre skala under andra hälften av 1800-talet, då det endast återstod mindre arealer att odla upp.

Hästholmen hade vid denna tid fler nötkreatur än vad ön kunde försörja och eftersom skogen i det närmaste var försvunnen fanns små möjligheter till lövtäkt. Vid denna tid infördes får och getter på ön för att bättre utnyttja det magra betet. Detta ledde till ytterligare utarmning av markerna och försvårade all föryngring av träd och buskar.

Närheten till hamnen och kvarnen ansågs så betydelsefull att det vid laga skiftet på 1860-talet bestämdes att bebyggelsen i Hästholmens by skulle bibehållas samlad.