Az épület 1905-ben Hromadka János kocsmája volt. A 20-as években adta át unokájának Szántó Istvánnak, aki azt átépítette, így alakult ki a Szántó vendéglőként ismert népszerű szórakozóhely, mely 1938-ban Schreiber Károly tervei alapján nagy táncteremmel és színpaddal bővült. A két világháború között az élénk dunaharaszti társadalmi élet egyik központja volt a Szántó, ahol tánczenekarok szórakoztatták a közönséget, magas színvonalú sakk-kör, valamint komoly amatőr színjátszó csoport működött.

A II. világháború után, 1951 tavaszán államosították a vendéglőt. Ezután is szakköri előadásokat tartottak, telenként Szabad Föld téli esték programsorozatot, táncos rendezvényeket, filmbemutatókat, filmvetítéseket, politikai nagygyűléseket, időnként színházi előadásokat szerveztek. Itt próbált a helyi tánccsoport is. Ebben az időben a programok nem voltak igazán népszerűek, az emberek ritkán mentek el azokra.

A hatvanas években megindult a repülőmodellező és a galambász szakkör, továbbá az ún. Szülők Akadémiája. Vegyeskórus alakult, német és orosz nyelvtanfolyamokat szerveztek. TIT előadások, filmvetítések és egyéb szórakoztató rendezvények voltak. Ismét működött a sakk-kör is. Államilag engedélyezett zeneiskola kezdte meg működését hegedű, harmonika és zongora szakon. Számos kiállítást szerveztek, és 1961-ben meg nyílt az ún. Szervezett Dolgozók Klubja. 1962-ben a házban kisebb karbantartásra – padlójavítás, színész feljáró lépcső készítése – került sor, majd szabadtéri színpad építésére készültek tervek. Ez a színpad a mai napig nem épült meg, csak a tervekben szerepelt. A programok száma tovább bővült a társastánc, harmonika-, hegedű- és gitár tanfolyamok, balett foglalkozás, nyári gyerekprogramok, műsoros előadások, táncestek, bálok, magyar nóta- és népdalestek, valamint író-olvasó találkozók.

1969. január 1-től a művelődési ház megkapta hivatalos működési engedélyét, 1975 áprilisában a költő születésének 70. évfordulója alkalmából az intézmény hivatalosan is felvette nevét: József Attila Művelődési Ház.