Auf der östlichen Flanke der Einfahrt zum port (Hafen) de Cabrera thront das castell de s’Illa de Cabrera (Ziegeninsel-Kastell) (39.152508, 2.931761). Es scheint die illa de Cabrera bis heute zu bewachen und zu schützen.
Zwar ist ein Gebäude, wahrscheinlich ein Wachturm, bereits in der Mitte des 14. Jahrhunderts anzunehmen, doch wird es erstmalig 1410 in einer Urkunde erwähnt. Die Wachposten Pere und Guillem Saragossa forderten vom mallorquinischen Generalgouverneur Pelai Unís (1410 bis 1416) den ihnen zugesagten vollen Lohn. Den auf der Insel stationierten Besatzungen wurde über viele Jahrhunderte ein Spitzenlohn auf den Balearischen Inseln gezahlt, da sie sich einem feindlichen Angriff nicht entziehen konnten.
Die erste Befestigung wurde erbaut, nachdem 1425 zwischen der Universitat de la Ciutat i Regne de Mallorca (Gesamtheit der Stadt und des Königreichs Mallorca = Vertretung der Gesamtheit der Bevölkerung), dem Erzbistum Tarragona und Bernat Saragossa ein Vertrag zur Errichtung einer Garnison auf der Insel abgeschlossen worden war; die Urkunde hatte Saragossa zugleich für sich als Eigentümer der Insel und als Vertreter des Probstes des Erzbistums Tarragona unterzeichnet. In den nachfolgenden Jahrhunderten wurde die Burg mehrfach vollständig zerstört und wieder aufgebaut, mindestens zehn Mal allein im 16. Jahrhundert. So wandten sich 1510 zwei von Barbaresken geführte Schiffe gegen die Insel, auf der sie die Soldaten und zweiundzwanzig Fischer gefangen nahmen sowie die Festung zerstörten. Nur ein schnelles Eingreifen von mallorquinischen Einheiten ermöglichte eine Befreiung der Gefangenen. So nahm 1550 der als „Dragut“ bekannte Seeräuber Turgut Reis (*um 1510 bis 1565), der etwa eintausendfünfhundert Barbaresken anführte, die Insel ein. Während er die auf der Insel stationierten Kanonen abtransportieren ließ, ordnete er zugleich die Zerstörung der Burg an.
Die Anlage fiel 1698 zunächst an die Universitat de la Ciutat i Regne de Mallorca. Sie ging 1716 auf das (Erste) Königreich Spanien über.
Die Burg liegt etwa 72 Meter über dem Meer.
Das Bauwerk verfügt über einen sechseckigen Grundriss, der allerdings stark verzogen ist. Es erstreckt sich von Norden nach Süden über eine Länge von etwa 25 Meter, während es von Westen nach Osten eine Breite von etwa 22 Meter hat.
An ihrer südöstlichen Seite ist die Festung mit einer etwa 11 Meter langen Treppe versehen, die zu ihrem hochgelegenen Eingang führt. Der Eingang eröffnet allein den Zugang zu einer engen und dunklen Wendeltreppe im Gebäudeinneren, die auf der südwestlichen Dachplattform der Burg endet. An die mit Zinnen bewehrte Dachebene, die an ihrer südwestlichen Ecke mit einem Wachhaus ausgestattet ist, schließen sich im Norden ein Gewölberaum und im Nordosten eine höher gelegene Dachfläche an.
Die Befestigung wurde am 30. November 1993 zum Bé d’Interès Cultural (Gut von kulturellem Interesse) erhoben. Sie wird im spanischen Registro General de Bienes de Interés Cultural (Allgemeinen Register der Güter von kulturellem Interesse) unter der Kodierung (R.I.) – 51 – 0008363 – 00000 geführt.