Yrkesfisket på Olmen avtog alltmer från början av 1960-talet. Eftersom ansvaret för gemensamma anläggningar som gästbryggor, båtslip och renhållning samt kontakter med markägarna och olika myndigheter angick alla Olmenbor väcktes frågan om en hamnförening.

Det första mötet hölls i ”gropen” vid dansbanan den 11 juni 1971, då öborna enades om att bilda en förening. En interimsstyrelse utsågs, med uppdrag att skriva förslag till stadgar och kalla till ett nytt möte för formellt bildande av föreningen.

Den 24 juli samma år hölls det konstituerande sammanträdet i kapellet, och till första styrelse i Olmens hamnförening valdes Jens Eriksson (ordförande) samt Folke Andersson, Siv Laugrand, Tore Ilshammar och Stig Norberg.

Föreningen hade under den följande 30-årsperioden en synnerligen aktiv verksamhet. Bryggor och båtslip renoverades eller byggdes om. År 1976 uppfördes en ny dansbana och 1981 anlades spruthus och brandredskap införskaffades.

Hamnföreningen arrenderade mark och plats för en gemensam lastbrygga på Hölick. Genom föreningens försorg anskaffades också livbojar till gästbryggorna, anslagstavlor och sjukvårdsutrustning. Gamla gångstigar på ön röjdes upp och skyltades.

Varje år arrangerades gemensamt midsommarfirande i föreningens regi, och under några år också en surströmmingsfest. Kontakter med markägare och myndigheter skedde löpande. Olmens hamnförening upphörde år 2000 i och med att den nya Olmens samfällighetsförening bildades och övertog de flesta av hamnföreningens uppgifter.