Le musée est installé dans des bâtiments construits au xiie siècle sur les remparts gallo-romains de la ville. En 1305, une émeute retentit dans la cité. Lorsque l’ordre est rétabli, le roi de France condamne les bourgeois de Beauvais à indemniser Simon de Nesle, seigneur épiscopal. Avec cet argent, ce dernier fait construire une porte d’entrée fortifiée flanquée de deux tours.
À l’intérieur, une porterie du xive siècle représente des sirènes musiciennes (au rez-de-chaussée) et des fragments de pavage (au premier étage).
Des graffitis recouvrent les murs de la tour nord, rappelant que le bâtiment était autrefois une prison. La tour sud contient une salle basse, autrefois utilisée comme réserve. Au début du xvie siècle, l’évêque Louis Villiers de l’Isle-Adam fait reconstruire le bâtiment principal dans l’esprit de la Renaissance, tout en conservant les ornements caractéristiques gothiques. Il y ajoute une tourelle d’escalier à vis augmentée d’une poivrière et d’un campanile.
Sous l’Empire, en 1811, la préfecture s’y installe avant que le bâtiment ne soit restitué à l’évêque sous la Restauration (1822) et qu’elle déménage à l’Abbaye Saint Quentin. En 1848, le bâtiment devient palais de justice. Au cours de la Seconde Guerre mondiale, le musée départemental, installé depuis 1912 dans cette grande bâtisse, s’effondre sous les bombardements. Le bilan est lourd : destruction presque complète des collections d’archéologie, de géologie et du fonds régional d’autres objets d’art.
Les œuvres sauvées, ainsi que celles acquises par la suite, sont provisoirement installées dans les combles de l’ancien palais épiscopal. En 1973, profitant du déménagement des services de la Justice vers un tribunal flambant neuf, le département récupère l’ensemble des bâtiments et engage un vaste programme de restauration et d’aménagement. Ces travaux se terminent en juin 1981, avec l’ouverture d’un nouveau centre muséographique. Néanmoins, des problèmes de charpente obligent le conseil général à fermer les salles au public en 1997.
