Szülei, Anne Longden masamód és Benjamin Leigh Smith radikális unitárius, Norwich parlamenti képviselője öt gyereket neveltek együtt az asszony haláláig, de házasságot nem kötöttek. A családban fiúk és lányok egyforma, alapos, komoly taníttatásban részesültek, látókörük szélesítésére sokat utaztak, apjuk önművelődésre, független gondolkodásra szoktatta őket. Barbara egyik barátnője emlékirataiban visszaemlékezik a szokatlan jelenetre, amint az apa - viktoriánus apától igencsak szokatlan módon - letérdel, hogy megkösse lánya cipőfűzőjét.