Stavba Milíčova domu, zařízení pro mimoškolní výchovu dětí, byla financována z darů přátel a čtenářů časopisu Sbratření, který Přemysl Pitter vydával. Realizace se ujal vinohradský stavitel Karel Skorkovský, který postavil dům podle projektu architekta Ervína Katony na parcele u Olšanského rybníčku pod Vrchem sv. Kříže.
Milíčův dům byl otevřen 24. 12. 1933. Byl to světlý, prostorný, jednopatrový dům se zahradou, vyhovující co nejlépe práci s dětmi. Děti zde pod vlídným dohledem vychovatelů dělaly školní úkoly, navštěvovaly zájmové kroužky, pracovaly v dílně i na zahradě, sportovaly. V roce 1936 bylo přistaveno další patro domu.
Kromě výchovné péče bylo o děti postaráno i po stránce tělesné – pravidelně se koupaly, byly pod lékařským dohledem a dostávaly svačiny, doplněné v sezóně o své vlastní zahradnické výpěstky. Veškerá strava byla vegetariánská. Podle možností byly mezi nejpotřebnější rodiny rozdávány potraviny a šatstvo. Mnoho dětí žilo v nevyhovujících podmínkách a potřebovaly změnu prostředí. V roce 1938 se podařilo vybudovat celoroční ozdravovnu v Mýtě u Rokycan, která byla v létě rozšířena o stanový tábor.
Milíčův dům byl ve své době ojedinělým dětským zařízením nejen v Československu, ale i ve světě. Jeho nejdůležitější funkcí byla pomoc sociálně nejslabším dětem, nejen žižkovským. Těžištěm práce byla výchova a smysluplné využití volného času dětí s cílevědomým výchovným morálně křesťanským naplněním.
Činnost Milíčova domu byla založena na dobrovolné spolupráci a vždy měla velmi blízko k solidaritě. V r. 1934 zde byly umístěny děti německých emigrantů, kteří museli uprchnout z nacistického Německa. V době německé okupace se Milíčův dům stal střediskem tajné podpory pronásledovaných židovských rodin.
Provoz Milíčova domu jako útulku byl v prosinci 1949 násilně ukončen. Budova byla nadále využívána od r. 1953 jako celotýdenní družina pro mládež. Od r. 1976 v ní sídlí mateřská škola, která v r. 2001 převzala čestný název Mateřská škola Milíčův dům.
