A la fin du XIXème siècle, le musée réunit déjà un nombre conséquent de peintures et sculptures achetées par la municipalité ou offertes par des artistes et quelques généreux donateurs.

Vers 1938, le musée municipal est transféré dans une annexe du nouvel Hôtel de Ville. Il y prend le nom de "Musée Georges-Garret", en hommage à l’ancien maire qui avait œuvré pour réunir des collections dispersées au fil des décennies en divers lieux de la ville.
En 1964, le musée inaugure une nouvelle section d’Archéologie présentant des objets de l’Antiquité ou du Moyen-Age, découverts sur le territoire de la Haute-Saône.
Dans le courant des années 1970, consciente de la nécessité d’offrir aux visiteurs un cadre à la mesure des collections présentées, la municipalité entreprend de restaurer l’ancien couvent des Ursulines, vaste bâtiment du 17ème siècle situé dans le quartier historique de Vesoul. Les collections d’Art et d’Histoire sont déployées dans les quatorze salles du nouveau musée qui ouvre ses portes en 1981.
Les espaces muséographiques, respectueux de l’architecture originelle du lieu mais plus adaptés à l’accueil des publics et à la conservation des collections, présentent désormais une partie du fonds propre du musée ainsi que des expositions temporaires.