Hubertine módos, sokgyerekes vidéki családba született 1848-ban. 13 éves volt, amikor apja meghalt, anyja egy katolikus zárdában neveltette tovább. l6 éves korában be akart lépni a les Sours de la Charité de Saint-Vincent de Paul apácarendbe, de független természetére való hivatkozással kérését elutasították.
Apja Emil Key földbirtokos, liberális politikus, akinek azonban a gyermeknevelés terén rendkívül szigorú elvei voltak. Ellen nem részesült formális oktatásban, a gyerekeket otthon eleinte anyjuk, majd egy német és egy francia nevelőnő tanította. 1868-ban a család anyagi okok miatt Stockholmba költözött, Ellen itt a téli hónapokban Jenny Rossander hölgyek számára tartott tanfolyamát látogatta, emellett sokat és széleskörűen olvasott, és apja mellett a titkári teendőket is ellátta.
Elsie Inglis 1864-ben, Indiában született, tíz éves, amikor szüleivel és testvéreivel visszatértek a skóciai Edinburgh-ba. Az élénk, jóeszű kislány orvos akart lenni. Skóciában a XIX. század nyolcvanas éveiben már járhattak nők egyetemre, ha nem is könnyen. Nem lehettek egy csoportban férfiakkal, gyakorlatot nem végezhettek ugyanazon az osztályon, jóval magasabb tandíjat kellett fizetniük, mint a férfiaknak. A szülők, Harriet és John Inglis művelt, széleslátókörű emberek, alapos nevelést biztosítottak valamennyi gyereküknek.