Το σημερινό κτίριο κατασκευάστηκε το 1903 στη θέση άλλης οικίας, όπου κατοίκησε ο Ανδρέας Καλοκαιρινός μετά το γάμο του με τη Μαρία Κρασάκη, το 1835.

Το αρχικό κτίσμα καταστράφηκε από το σεισμό του 1856 και παρέμεινε ερείπιο μέχρι το 1870. Το κτίριο αυτό, σχεδιασμένο από το διάσημο Έλληνα αρχιτέκτονα Λύσανδρο Καυταντζόγλου, καταστράφηκε κατά τα γεγονότα του 1898.

Το σημερινό κτίριο, λόγω της κλίσης του εδάφους, παρουσιάζεται στη βόρεια πλευρά ως τριώροφο. Αρχικά, η κύρια είσοδος του κτιρίου ήταν από τη νότια πλευρά, όπου διαμορφώνεται μαρμάρινο προστώο υποβασταζόμενο με δωρικούς κίονες, ενώ στον όροφο διαμορφώνεται εξώστης με μαρμάρινο στηθαίο. Στο εσωτερικό σώζονται ενδιαφέρουσες τοιχογραφίες, οροφογραφίες και άλλα διακοσμητικά στοιχεία.