En 1979, la Ville récupère la cure de Saint André occupée par des prêtres depuis 1855. Ce bâtiment avait été transformé en 1852 en presbytère à partir d’une maison principale, la maison Andrieux.

En 1981, dans le cadre du contrat Ville Moyenne, la municipalité lance l’aménagement d’un centre culturel sur 4 niveaux. Une première tranche de travaux est réalisée en 1982-84 puis une seconde en 1985-86. Des salles de travail et d’expositions sont ainsi mises à disposition des arts plastiques et de la musique.

Inauguré le 20 décembre 1986, il est baptisé André Malraux deux ans plus tard.