Het "Hospice des Vieillards" werd in 1830 opgetrokken naar de plannen van architect Vifquin, in een typische neoclassicistische stijl. In 1920 werd het gebouw herbestemd tot Atheneum.
Tijdens WOII werd het Atheneum herhaaldelijk door Duitse troepen bezet, zo had het Geheime Leger hier zijn hoofdkwartier. Toen de Duitse bezetting op haar einde liep, bleek het gebouw door een incident in september 1944 zo geschonden dat nieuwbouw noodzakelijk bleek.