Gazdag családba született, kozmopolita nevelést kapott. Aktiv politikai munkássága mellett korának ismert színésznője. Lucien Millevoye politikussal való kapcsolatából két gyermeke született, ám csak lánya, Iseulde érte
Apja Emil Key földbirtokos, liberális politikus, akinek azonban a gyermeknevelés terén rendkívül szigorú elvei voltak. Ellen nem részesült formális oktatásban, a gyerekeket otthon eleinte anyjuk,