L'abbaye Notre-Dame du Voeu fut fondée en 1145 par la Reine Mathilde, fille de Henri Ier, Roi d'Angleterre, épouse en secondes noces de Geoffroy Plantagenet, Comte d'Anjou, et consacrée en 1181. A la fin du 12e siècle sont construit les cuisines et le cellier, et l' église est achevée. Dans le premier tiers du 13e siècle sont construits le réfectoire et de la salle capitulaire. L' abbaye est pillée et incendiée à plusieurs reprises à la fin du 13e siècle et pendant la guerre de Cent Ans. Les chanoines s' y réinstallent vers 1450-1460, la restaurent et reconstruisent l'église abbatiale en 1464. Pendant les guerres de religion, l'abbaye est endommagée. Le régime de la commende sous lequel elle est placée en 1583 marque le début de sa décadence. En 1727 est élevé un grand bâtiment à l'ouest, ravagé par un incendie. En 1774, un décret royal supprime l'abbaye. Les bâtiments sont réquisitionnés en 1778 et deviennent la résidence du Duc d'Harcourt, gouverneur de Normandie pendant les travaux de la grande rade, qui s' installe dans l' Hôtel construit à l'ouest des bâtiments conventuels. Louis XVI y est hébergé lors de son voyage à Cherbourg pour l'inspection des travaux de la grande digue. De 1793 à 1866, les bâtiments sont utilisés comme hôpital de la Marine, la maison abbatiale est détruite en 1839 (la cheminée du 16e siècle est démontée pour être placée dans la salle du conseil municipal). L'abbaye devient ensuite la caserne Martin des Pallières pour l'infanterie de Marine de Cherbourg. Le portail occidental de l'église du 13e siècle, muré en 1759, est redécouvert lors des travaux du génie militaire en 1892 et conservé au jardin public. Vendue en 1928, l' abbaye est transformée en logements ouvriers sous le nom de Cité Chantereyne. Epargnée par les bombardements de la Seconde Guerre mondiale, l'abbaye est incendiée en juin 1944 par les Allemands avant leur capitulation. En 1961, la municipalité se rend acquéreur du site et entame les travaux de réhabilitation.