La Congrégation des religieuses de Notre-Dame fut fondée à Bordeaux en 1603, la maison d’Annonay en 1630. Marguerite du Port, épouse de François de Sauzéa, lieutenant particulier au bailliage d’Annonay en fut l’instigatrice.

Les premières religieuses, venues de Tournon (établies dans cette ville en 1628), logèrent d’abord dans une maison située place Grenette puis, dans la maison curiale, jusqu’au 9 juin 1633, date à laquelle elles s’installèrent dans leur couvent de Sainte-Marie, nouvellement construit, au quartier du « Tra ».

Les débuts de la communauté, place Grenette semblent avoir été difficiles, mais la réputation dont jouissait la congrégation fit bientôt que de riches héritières entrèrent au nouveau couvent, y apportant de fastueuses dots. Grâce à cette manne, la communauté put faire construire les premiers bâtiments de leurs nouveaux couvents sur les ruines du vieux château de Malatour. Le marquis d’Annonay, Charles de Lévis, duc de Ventadour, céda aux sœurs une partie des ruines du château et quelques maisons et jardins de la rue du Tra.

Par ailleurs, les consuls d’Annonay, par délibération du 2 mars 1631, avaient exempté de la taille (Impôt) la communauté de Sainte-Marie, à la condition que celle-ci s’engage à ouvrir des écoles gratuites pour l’instruction des jeunes filles pauvres de la ville.

L’établissement comprenait alors : une chapelle ; un pensionnat de jeunes filles ; un externat gratuit pour les jeunes filles d’Annonay ; des bâtiments conventuels, des jardins et des basses-cours

En 1686 et en 1748, deux nouvelles ailes furent construites, pour adapter le couvent à la vie monacale de l’époque. En 1748, la nouvelle aile, construite en bordure de la rue de Sainte-Marie entraîna la destruction d’une grande partie du cloître. À cette date, les religieuses étaient au nombre de 39.

Après une longue période de prospérité, vers la fin du 18e siècle, elles connurent des difficultés financières croissantes.

Lors de l’inventaire fait dans leur couvent, en exécution de la loi, le 1er octobre 1792, les religieuses étaient au nombre de 31.

Elles quittèrent alors la ville pour se retirer à la Louvesc, abandonnèrent leurs bâtiments, qui furent vendus comme Bien National. Ils appartinrent par la suite à la ville d’Annonay.

À la fin de l’Empire la ville d’Annonay y logea des prisonniers autrichiens et espagnols qui y firent beaucoup de dégradations, brûlant planchers, portes et tribunes de la chapelle, à seule fin de pouvoir se chauffer.

Au tout début du 19e siècle, la ville sollicita Mme de l’Hermuzière, Supérieure des Ursulines de Bourg-Argental, pour qu’elles viennent à Annonay reprendre avec elles les traditions des dames de Sainte-Marie et y fonder une maison d’éducation, qui accueillit 80 jeunes filles d’Annonay. Le 4 mai 1805, les Ursulines prenaient ainsi possession des bâtiments. Deux jours plus tard, la chapelle était rendue au culte.

En 1865, la construction d’une nouvelle aile, contre la face latérale extérieure de la chapelle aveuglait les baies vitrées qui l’éclairaient.

Les Ursulines restèrent à Annonay jusqu’en 1904. Au début du 20e siècle, les couvents connurent des heures sombres. La loi de séparation de l’Église et de l’État du 1er juillet 1905 interdisait aux religieuses le droit d’enseigner. Les Ursulines durent donc s’exiler. Elles partirent pour l’Italie où elles restèrent 14 ans. Seules les plus âgées restèrent sur Annonay.

Abandonnés, les bâtiments servirent de logements pendant de nombreuses années, jusqu’à ce que, dans les années 1970, les Affaires Culturelles interviennent pour que la chapelle soit libérée afin d’être nettoyée et restaurée.

1919 – L’archiprêtre Mirabel-Chambaud, qui regrettait ses Ursulines, négocia leur retour, leur offrit la direction de l’Institut Notre-Dame. Le 1er octobre 1919, heureuses de reprendre leur œuvre d’enseignement, elles accueillaient leurs premières élèves.

1953 – Les Ursulines quittaient définitivement la ville.

1993 – Lancement par l’O.P.M. d’H.L.M. de l’aménagement de 33 appartements dans les bâtiments de l’ancien couvent.