De geschiedenis van dit mooie paleis begint in de middeleeuwen toen een kapel op de heuvel werd gebouwd, toegewijd aan Our Lady Pena. De bouw werd aangevuld na een verschijning van de heilige maagd Maria. De mythe verteld dat een wezen, half man/half vis, hier woonde
