A la pointe sud-ouest de l’enceinte romaine, la tour des Ursulines domine la ville de ses 33 mètres de hauteur. Cette structure médiévale de forme octogonale, assise sur une base circulaire d’une tour d’enceinte gallo-romaine, est le seul élément subsistant d’un château ducal détruit au XVIIe siècle : la citadelle de Riveau. Le pouvoir des ducs de Bourgogne était symbolisé par ce pôle fortifié à l’extrémité du "castrum" : le bailli ducal, quelques soldats et leur capitaine y logeaient en permanence.
Le bâtiment accolé à la tour paraît être le plus ancien : il remonterait en grande partie au XIIe siècle. En revanche, la tour porte en elle beaucoup plus de caractéristiques architecturales et de techniques de constructions des XIV-XVe siècles que du XIIe siècle. En effet, certaines spécificités architecturales apparaissent surtout à partir des années 1350 : les archères canonnières ou la tour d’escalier hors- œuvre. Les baies géminées ne doivent donc pas être datées de l’époque romane, elles sont de style roman. Elle semble, de plus, bien s’insérer dans les constructions autunoises et bourguignonnes du XVe siècle, comme l’attestent les similitudes avec la tour de l’horloge de Marchaux ou la tour de Charles le Téméraire à Charolles.
Par ailleurs, se mettent en place aux XIVe et XVe siècles des moyens de financement pour l’entretien des fortifications plus stables et mieux contrôlés.
Il semble que la tour ait eu la fonction de prison, le bailli étant le représentant du pouvoir ducal et exerçant la justice. C’est entre 1595 et 1602 que la forteresse de Riveau est détruite par les autunois eux-mêmes, de peur qu’elle ne passe dans les mains des ennemis du roi Henry IV. Son emplacement est concédé gratuitement par Louis XIII en 1647 à la communauté des Ursulines qui en resteront propriétaires jusqu’à la Révolution. En 1793, le couvent est divisé en sept lots et vendu comme bien national. En 1835, il devient la possession de la communauté des sœurs de la Visitation.