Le musée est créé en 1952 par Matisse lui-même qui offre à la ville du Cateau-Cambrésis une collection de 82 œuvres. Le musée est alors installé dans l’hôtel de ville. L'implantation initiale est suivie par Lydia Délectorskaya, proche collaboratrice du peintre. En 1956, Auguste Herbin offre 24 œuvres à la ville qui constituent ainsi une deuxième collection. En 1982, alors que ses collections se sont enrichies de plusieurs donations, le musée est installé dans l'ancien palais Fénelon. Il devient musée départemental en 1992. Agrandi et réaménagé à partir de la fin des années 1990, il rouvre ses portes le 8 novembre 2002 après trois ans de travaux. Le 26 janvier 2008, le musée reçoit la donation Tériade, constituée notamment d'œuvres de Pablo Picasso, Marc Chagall, Joan Miró, Georges Rouault, Fernand Léger et Alberto Giacometti, dont la « salle à manger de Tériade » décorée par Matisse et Giacometti. Patrice Deparpe en est l'actuel directeur