Apja Emil Key földbirtokos, liberális politikus, akinek azonban a gyermeknevelés terén rendkívül szigorú elvei voltak. Ellen nem részesült formális oktatásban, a gyerekeket otthon eleinte anyjuk, majd egy német és egy francia nevelőnő tanította. 1868-ban a család anyagi okok miatt Stockholmba költözött, Ellen itt a téli hónapokban Jenny Rossander hölgyek számára tartott tanfolyamát látogatta, emellett sokat és széleskörűen olvasott, és apja mellett a titkári teendőket is ellátta.