Olmens historia handlar i högsta grad om strömming. När människor första gången kom hit ut är det förstås ingen som vet. Men vi kan anta att det skedde redan i historiens gryning. På Hornslandet och Kuggörarna finns gravrösen och labyrinter från brons- och järnålder. Segelleder och fiskeställen längs Norrlandskusten etablerades redan under vikingatiden. St Olofs hamn på Drakön inte långt härifrån var bebodd under medeltiden, och Gävlefiskarna började söka sig uppåt kusten från 1500-talet.

Den nuvarande fiskehamnen på Tunaolmen har varit i bruk åtminstone sedan mitten av 1600-talet. I modern tid hade skötfisket efter strömming sin verkliga guldålder i början och mitten av 1900-talet, framför allt under de båda världskrigen, när priserna var goda och segel och åror ersattes av de första tändkulemotorerna. Samtidigt började öarna upptäckas av sommargäster från staden, som hyrde in sig hos fiskarbefolkningen eller lät bygga egna sommarhus.

Under de senaste 50 åren har det småskaliga strömmingsfisket på Olmen successivt klingat av. År 1956 fanns nio båtlag på ön, och ännu på 1960-talet var en handfull fiskare verksamma. Sedan tog det industriella trålfisket över. De flesta människor som man möter på Olmen idag är ättlingar till fiskare eller tidigare generationers sommargäster, även om några nya familjer också har erablerat sig på ön under senare år genom förvärv av sommarhus eller fiskeställen.

Fram till år 2000 stod alla hus och stugor på ofri grund på sockenallmänningen. Då avstyckades den bebyggda delen av ön närmast fiskehamnen till en egen fastighet som numera ägs och förvaltas av en samfällighet – Olmens samfällighetsförening. De flesta hus avstyckades i samband med detta till egna fastigheter. Idag finns ca. 35 fastigheter på ön.