Este edificio se empieza a construir con el siglo XVI, al mismo tiempo que la iglesia de San Juan, pero al igual que una parte de la iglesia, debido a la escasez de recursos, se deja en sus primeras murallas y no se finaliza hasta bien entrado el siglo XVIII. Se cree que dichas obras fueron realizadas bajo la dirección del arquitecto Juan de Villanueva.