Αναμφισβήτητα, η θέση του κάστρου και τα ενισχυμένα φρούρια του προσέφεραν στους Ιππότες της Εποχής πολλές διευκολύνσεις, προστατεύοντάς τους αποτελεσματικά από τις επιθέσεις των εχθρών τους.
Το κάστρο της Φιλερήμου κατασκευάστηκε από τους Βυζαντινούς τον 11ο αιώνα. Ωστόσο, η κατασκευή του συνδιάζεται με το ατυχές γεγονός της εξαγωγής οικοδομικού υλικού, όπως μαρμάρου και τοιχοποιίας, από τον αρχαίο ναό της Αθηνάς, κάτι που αποτελούσε κοινή πρακτική σχεδόν όλων των κατακτητών των νησιών, από τους Βυζαντινούς μέχρι τους Ιταλούς, καταστρέφοντας έτσι τις υπάρχουσες αρχαίες και ελληνιστικές δομές προκειμένου να ικανοποιήσουν τις ανάγκες και τις προτιμήσεις τους.
Κατά τη διάρκεια της Βυζαντινής περιόδου, το κάστρο χρησιμοποιήθηκε κυρίως ως καλοκαιρινή κατοικία για την αριστοκρατία και την ελίτ γενικά, αλλά αργότερα μετατράπηκε μάλλον σε πεδίο μάχης. Η θέση του στο επιβλητικό λόφο της Φιλέρημου που επέτρεπε την ακριβή παρακολούθηση μιας μεγάλης και σημαντικής περιοχής των δυτικών ακτών της Ρόδου, και επομένος καθαρή θέα πρως στη θάλασσα για παρακολούθηση των εχθρικών πλοίων, έκαναν το κάστρο το κέντρο της προσοχής των Ιπποτών του Τάγματος του Αγίου Ιωάννη.
Όταν οι ιππότες ήρθαν στο νησί, συνειδητοποίησαν τη στρατηγική θέση του κάστρου και έσπευσαν να τοποθετήσουν τους εαυτούς τους, και τελικά έδωσαν μάχη ενάντια στους Γενουάτες το 1309, προσπαθώντας να τους εκδιώξουν. Αργότερα, το 1522 ο οθωμανικός ηγεμόνας Σουλεϊμάν ο μεγαλοπρεπής κατάφερε να καταλάβει τα Δωδεκάνησα, και να απομακρύνει τους Ιππότες. Το κάστρο της Φιλέρημου ήταν το σημείο όπου ο ογκώδης στρατός του ξεκίνησε την επίθεση του στο νησί.
Κατά τη διάρκεια των 200 χρόνων κατοχής των Ιπποτών, το νησί και τα μνημεία του, συμπεριλαμβανομένου του κάστρου της Φιλέρημου, είχαν υποστεί σημαντικές εργασίες αποκατάστασης. Τελικά όμως, και κυρίως μετά την κατάληψη των Τούρκων, το κάστρο εγκαταλείφθηκε και ερείπωσε, με το βυζαντινό μοναστήρι του 5ου αιώνα να είναι το μόνο κτίριο που τελικά αποκαθίστανται πλήρως από Βρετανούς και Έλληνες μετά τον Δεύτερο Παγκόσμιο Πόλεμο.
Το κάστρο της Φιλερήμου απέχει 20χλμ. Από την πόλη της Ρόδου και 5χλμ. Από το χωριό της Ιαλυσού.
