Είναι άγνωστο πότε ερειπώθηκε και εγκαταλείφθηκε. Το 1815 είναι ήδη ερείπιο, πιθανότατα από το φοβερό σεισμό της 5/12/1810 που γκρέμισε τα 2/3 της πόλης, ενώ η οριστική καταστροφή του φαίνεται να επήλθε με το σεισμό του 1856.

Μετά την ανταλλαγή των πληθυσμών, τα μουσουλμανικά κτίσματα πουλήθηκαν ως ανταλλάξιμα σε ιδιώτες από την Εθνική Τράπεζα.

Το 1954 η Διεύθυνση Αρχαιοτήτων του Υπουργείου Παιδείας ενέκρινε την κατεδάφιση, ρυμοτόμηση και τη μετατροπή του χώρου σε πλατεία. Για άγνωστους λόγους το μνημείο γλίτωσε την κατεδάφιση.

Από τη 10ετία του 1950 μέχρι και το 1970, όλη η δυτική και τμήμα της νοτιο-δυτικής πλευράς του οικοδομικού τετραγώνου, που κάποτε καταλάμβανε το ανάκτορο, ανοικοδομήθηκε, με συνέπεια το 1/3 περίπου του συνόλου του να έχει πλήρως αλλοιωθεί.

Το υπόλοιπο τμήμα αποτελείται από παλαιά κτίρια, που ανάγονται σε διάφορες ιστορικές περιόδους της πόλης. Η νότια πλευρά, προς την πλατεία Ελ. Βενιζέλου, αποτελείται από τέσσερις ορατούς σήμερα ισόγειους θολωτούς χώρους, τα μόνα ακέραια σωζόμενα τμήματα του Δουκικού Ανακτόρου.