Szülei, Anne Longden masamód és Benjamin Leigh Smith radikális unitárius, Norwich parlamenti képviselője öt gyereket neveltek együtt az asszony haláláig, de házasságot nem kötöttek. A családban fiúk és lányok egyforma, alapos, komoly taníttatásban részesültek, látókörük szélesítésére sokat utaztak, apjuk önművelődésre, független gondolkodásra szoktatta őket. Barbara egyik barátnője emlékirataiban visszaemlékezik a szokatlan jelenetre, amint az apa - viktoriánus apától igencsak szokatlan módon - letérdel, hogy megkösse lánya cipőfűzőjét.
Apja Emil Key földbirtokos, liberális politikus, akinek azonban a gyermeknevelés terén rendkívül szigorú elvei voltak. Ellen nem részesült formális oktatásban, a gyerekeket otthon eleinte anyjuk, majd egy német és egy francia nevelőnő tanította. 1868-ban a család anyagi okok miatt Stockholmba költözött, Ellen itt a téli hónapokban Jenny Rossander hölgyek számára tartott tanfolyamát látogatta, emellett sokat és széleskörűen olvasott, és apja mellett a titkári teendőket is ellátta.
Maria Deraismes (ejtsd: dörem) 1828. augusztus 17-én született, jómódú, művelt középosztálybeli családban. Szülei gondot fordítottak taníttatására, iskoláit Pontoiseban kezdte, majd Párizsban fejezte be. Miután szüleitől komoly vagyont örökölt, meg tudta őrizni függetlenségét, és úgy döntött, nem megy férjhez.