Handelsstaden Vågsberget er den eldste handelsstaden i Ytre Nordfjord, og var til slutten av 1800-talet den viktigaste, fordi den låg svært lagleg til ved dei rike fiskefelta kring Vågsvåg og Torskangerpollen. Handelsstaden har eksistert frå 1600-talet.

Aleksander Didrikson Fester fekk kongebrev på handel 1692, og med rett til å drive gjesteheim på Moldøen. På 1700-talet slo eigarane av Vågsberget under seg store jordeigedomar i Ytre Nordfjord og Bremanger. I 1744 vart Moldøen med handel og privilegia der selde og skilde frå drifta på Vågsberget.
I 1777 overtok handelsmannen Peder Tonning, son til Peder Pederson Tonning, Vågsberget. I hans driftstid vart m.a. hovudhuset og mange av sjøbuene i det no verna handelssetet på Vågsberget bygde. Det er same Tonning-ætta som bygde opp og eigde handelsstaden ved munningen av Stryneelva. Herskapshuset frå den tida er kjend som Valhalla gjestgiveri.


Lem-familien kom inn som eigarar på Vågsberget i 1889 då lensmann Arnoldus Lem kjøpte Vågsberget saman med telegrafstyrar P.A. Strømsøe. Seinare gjekk drifta over til Einar Lem og Rolf Lem. I 1920 selde Lem-folket Vågsberget til skipsreiar Jacob Kjøde, som saman med svigerson, skipsreiar Johan Horn bygde ut store fabrikkanlegg og sildemottak på eigedomen.

På 1970-talet tok Vågsøy kommune over forvaltninga av eigedomane med tanke på vern av dei gamle bygningane. I den verste ”oljefeberen” midt på 1970-talet, då ”alle” kappast om å få oljebasar langs kysten, baud Vågsøy kommune ut Vågsberget som base-tomt – utan å få napp. På 1980-talet gjekk forvaltningsansvaret for Vågsberget over til Kystmuseet i Sogn og Fjordane.

Dei siste åra har Kultursmia hatt ansvar for drift av Vågsberget.