Pionírcsalád lánya, a szülők annyira fontosnak tartották a tanulást, hogy farmjukon iskolát építettek a család és a környék gyerekei számára. Olympia egyetemi jelentkezését több helyről – neme miatt – visszautasították, végül a Mary Lyon alapította Mount Holyoke Female Seminary hallgatója lett. Az intézmény vallásos előírásait azonban túl szigorúnak találta, és elriasztotta egyik férfi tanára nyílt szexizmusa is. Ezért egy év után az Antioch College-ban folytatta tanulmányait. Ebben a liberális intézményben is tapasztalta a nemi alapú hátrányos megkülönböztetést, például retorika órán a nőhallgatóktól nem várták el, hogy fejből megtanulják a szövegeiket. Antonia csakazértis papír nélkül adta elő a beszédeit, hogy bebizonyítsa a nemek egyenlő szellemi képességeit. 1860-ban diplomázott.

A lelkészi pálya iránt érzett elhivatottságot, számos nehézséget leküzdve sikerült a St. Lawrence University teológia szakára bejutnia, melynek elvégzése után (ismét számos zökkenő után) 1863-ban lelkésszé avatták. Nagy példaképe Antoinette Brown Blackwell volt (nem rokonok), az első amerikai lelkésznő (aki végzett ugyan teológiai tanulmányokat, de azokról hivatalos elismerést nem kapott.)  

Hallgató korában került kapcsolatba a nőmozgalommal, a választójogi küzdelem lelkes támogatója lett. Gyűlések keresett szónoka volt, Susan B. Anthony és Lucy Stone örömmel működtek együtt vele. Feminista témájú cikkeket írt meg többek között férje Racine Times című lapjába. (A házasságkötéskor nevét, számos korabeli feminista társához hasonlóan, megtartotta. Egy fiuk és egy lányuk született, mindketten tanárok lettek.) Az első elnök, Julia Ward Howe mellett a New England Women's Suffrage Association egyik alapítója, a Wisconsin Suffrage Association vezetője, 1903 és 1920 között a Federal Suffrage Association elnöke volt.

Kevesellte a mérsékelt nőmozgalom által elért csekély eredményeket, ezért csatlakozott az államonkénti reform helyett alkotmányosan szavazati jogot követelő, radikális Alice Paul és Lucy Burns csapatához, amely a Congressional Union, később a Women's Party nevet viselte. Végül ők vitték sikerre az ügyet, és 1920-tól a Tizenkilencedik Alkotmánykiegészítés bevezetésével a nők az egész USA-ban szavazhattak. 

Brown továbbra is foglalkozott nőjogokkal, csatlakozott a Nők Nemzetközi Béke- és Szabadságligájához (WILPF). 

Ma iskolák viselik a nevét, és - Sojourner Truth, Grace Lee Boggs, Harriet Quimby, Marge Piercy, Rosa Parks, Katharine Dexter McCormick, a szintén lelkész Anna Howard Shaw, valamint Diana Ross és Serena Williams társaságában - bekerült a Michigan Women's Hall of Fame-be. 

Művei: 

• Woman's Suffrage (1907)
• Democratic Ideals (1917)
• Suffrage and Religious Principle: Speeches and Writings of Olympia Brown (1988, posztumusz)