Le couvent des capucins est construit en 1584 par l'ordre monastique des Capucins. Un couvent des carmes est construit en 1648 sur le site occupé aujourd'hui par le musée, la mairie, et l'office du tourisme. La rivalité entre les capucins et les carmélites vire en un conflit, dont le point final se fait à la Révolution française[ avec la vente des biens du Clergé.
Après la ratification du Traité des Pyrénées en 1659 annexant la Catalogne du Nord à la France, c'est depuis les Capucins que seront scellés les termes définitifs du passage de la frontière actuelle entre la France et l'Espagne.
Trois siècles plus tard en 1913, le peintre Franck Burty Haviland (1878-1972) riche héritier du célèbre porcelainier de Limoges, Charles Havilland, s'y installe définitivement après plusieurs séjours en Vallespir.
En 1948, Franck Burty Haviland aide Pierre Brune à la création du Musée d'Art Moderne de Céret. De nombreux artistes du 20è siècle viendront séjourner aux Capucins.
Inscription Monument Historique