Oorspronkelijk was de Prinsenkerk een kapel. De kapel maakte deel uit van het Sint Agnietenklooster (gesticht in 1405) dat zich bevond binnen het vierkant Botersloot – Prinsenstraat – Halstraat – Nieuwe Markt. Het klooster huisvestte de Grauwe Zusters, zo genoemd naar hun grauwe kleding. De laatste non overleed in 1611.
Na de Reformatie werd een deel van het klooster ingericht als Prinsenhof. Hier verbleef geruime tijd Willem van Oranje.
De kapel ging over in handen van de gereformeerden. Uitbreidingen vonden plaats in 1639 en 1659.
Op 31 maart 1907 werd er de laatste dienst gehouden, waarna de volgende dag, 1 april, de nieuwe Koninginnekerk in gebruik werd genomen. De kerk werd in 1912 gesloopt. De graven werden overgebracht naar de begraafplaats Crooswijk.
De vrijgekomen ruimte werd benut voor het bouwen van de (oude) Gemeentebibliotheek.