C’est dès le IVe-Ve siècle, qu’un centre de pouvoir religieux s’installe dans la ville haute, autour de la cathédrale Saint-Nazaire, le baptistère et la demeure de l’évêque.
Sous l’actuelle place Saint-Louis, se trouvait l’église Notre-Dame. Elle formait certainement avec l’église Saint-Nazaire (actuelle cour de la maîtrise) un système d’églises doubles, comparable aux sites cathédraux de Lyon ou de Genève. Elle sera érigée en église collégiale par Nicolas Rolin au XVe siècle.
L’église Saint-Jean-de-la-Grotte était quant à elle située sous le chœur de la cathédrale Saint-Nazaire. C’est au XIIIe siècle que ce vocable est donné à l’ancien baptistère.
Au IXème siècle, prennent place au sud de Saint-Nazaire les bâtiments destinés aux chanoines, dans l’actuelle cour du chapitre. Une nouvelle résidence épiscopale s’installe plus à l’Est : l’évêché actuel.
La cathédrale Saint-Lazare est construite dès 1120, à l’Ouest, et perpendiculairement à Saint-Nazaire, afin de servir d’église de pèlerinage, puis de co-cathédrale à partir de 1195.
Différents couvents complètent l’ensemble cathédral.
Face à ces bâtiments à vocation religieuse, se place une architecture civile variée, représentant les puissances ducale, aristocratique, puis judiciaire avec la bourgeoisie de robe et d’affaire au XVIIIe siècle.
Cet ensemble est englobé dans ce qu’on appelle aujourd’hui les hauts quartiers. Il subira de grandes modifications au cours du XVIIIème siècle.