Cette intense activité bâtisseuse s’accompagne des inévitables destructions qui vont s’accentuer dans la seconde moitié du XVIIIe siècle.
L’hôtel de ville qui était logé à la porte des bancs déménage dans l’actuelle rue Général Demetz en 1717. Le local primitif sera détruit en 1740.
A partir des années 1750, la municipalité fait abaisser les murailles antiques afin de diminuer leur coût d’entretien exorbitant et de dégager les façades dominant le rempart, de nouvelles perspectives sur la campagne environnante. C’est le rôle essentiel de mur de soutènement du rempart antique qui lui vaudra de ne pas subir de plus amples dégâts.
C’est à partir de 1783 que l’on commence à détruite la cathédrale Saint-Nazaire qui menace de s’effondrer et d’endommager les bâtiments adjacents (évêché, présidial...). La destruction de Saint-Nazaire va évidemment provoquer celle de l’église Saint-Jean de la Grotte qui se trouve au-dessous. L’actuelle cour de la maîtrise est constituée des remblais de ces deux églises. La chapelle Saint-Aubin, datée du XIVe siècle, est le seul vestige de la première cathédrale.
Notre-Dame-du-Chastel est détruite en 1791. L’actuelle place Saint-Louis reprend exactement son emplacement.
L’église paroissiale Saint-Quentin datant probablement du IXe siècle et qui se trouvait au chevet de Saint-Lazare, fermait la rue qui porte actuellement son nom. Elle fut vendue et détruite en 1793. La rue actuelle fut ainsi surbaissée et prolongée jusqu’à la rue des sous-chantres.
En 1817, la municipalité décide d’un nouvel alignement pour la rue des Bancs. Le propriétaire de l’ancien hôtel Rolin doit alors faire abattre en 1821 l’aile donnant sur cette rue, malgré les qualités architecturales de l’édifice. C’est grâce à la Société Eduenne des Lettres, Sciences et Arts (société savante autunoise) que le restant des bâtiments ne subira pas le même sort, elle les fait classer Monuments Historiques et les achètent en 1878. Elle les fait restaurer et s’y installe. La ville d’Autun achète à son tour les bâtiments en 1951 pour y installer l’actuel musée qui portera le nom de son illustre propriétaire.