El castell de Balaguer és conegut com a Castell Formós des de la baixa Edat Mitjana. Se’n coneix la data de fundació gràcies a l'historiador Ibn Hayyan, que recull el relat d'Isa b. Ahmad al-Rasi, el qual situa la construcció del Hisn Balagi - castell de Balaguer-, a l’octubre de l’any 897 dC. En aquest moment el castell és bàsicament una fortificació i fa la funció de residència del governador, que és qui ostenta el poder local. La seva construcció respon a la voluntat que sigui una construcció que en cas de setge es pugui autodefensar.

A mitjans del segle XI s'edificà en el seu interior un palau que es decorà amb refinats ataurics realitzats sobre guix i que estaven policromats. Els motius decoratius són principalment vegetals i geomètrics, però també s'hi desenvolupen frisos epigràfics on es llegeixen fragments de l’al-Corà; i motius zoomorfes, com una harpia dotada de mans. 

Amb la conquesta de principis de segle XII, els comtes d'Urgell van ocupar l'antic palau i el convertiren en la seva residència. Al segle XIV s’hi van realitzar grans obres de reforma que comportaren la conversió de tota la zona nord en un gran jardí, regat per canals d'aigua de ceràmica, construïts a base d’alicatats i rajoles fabricades per artesans moriscos. 
El castell de Balaguer va ser destruït l'any 1413 arran de la guerra entre el darrer comte d'Urgell Jaume II el Dissortat i el rei Ferran I d’Antequera.