Η «Κρητική Πολιτεία» προτείνει να χρησιμοποιηθεί το οίκημα ως Αρχαιολογικό Μουσείο. Η ιδέα αυτή εγκαταλείπεται, καθώς κρίνεται ότι το κτίριο δεν είναι ασφαλές.

Το 1904 θεωρείται ετοιμόρροπο και αρχίζει, δυστυχώς χωρίς επιμέλεια, η κατεδάφιση του α΄ ορόφου. Τον επόμενο χρόνο παραχωρείται στο Δήμο, μαζί με την Αρμερία, την ενετική οπλαποθήκη, για να στεγάσει τις υπηρεσίες του. Μόνο το 1915 ξεκινά η αναστήλωση του κτιρίου από τον Μαξιμίλιαν Όνγκαρο (Maximilian Ongaro), έφορο των καλλιτεχνικών μνημείων της Βενετίας. Μετά από πολλές καθυστερήσεις, στο τέλος του 1934, παραδίδεται σε χρήση το κτίριο της οπλαποθήκης για την εγκατάσταση υπηρεσιών του Δήμου.

Μετά το τέλος του Β΄ Παγκοσμίου Πολέμου αρχίζουν και πάλι οι εργασίες ανοικοδόμησης του μνημείου και της σύνδεσής του με την Αρμερία μέσω ενός αίθριου.