С берега Таганрогского залива можно увидеть старинное кирпичное здание, которое напоминает древний рыцарский замок. Оно увенчано четырехугольной башней с зубцами, стрельчатыми окнами и остроконечным шпилем. Здание расположено рядом со Старой Каменной лестницей.
В этом памятном для таганрожцев доме с 1883 по 1894 год жил брат великого композитора, Ипполит Ильич Чайковский. Ипполит Чайковский, отставной военный моряк, капитан первого ранга, возглавлял таганрогское отделение Русского общества пароходства и торговли. Также он преподавал в мореходных классах и делал всё от него зависящее для превращения Таганрога в современный торговый порт. Особую роль он отводил подготовке кадров судоводителей и корабельных специалистов.
Петр Ильич Чайковский трижды останавливался в доме брата. В Таганроге он проводил время в общении с родственниками, катался на пароходе, отдыхал в саду, любовался морем. Известно, что великому композитору понравился наш теплый южный город.
В 1894 году Ипполит Ильич уехал из Таганрога, и здание последовательно сменило несколько хозяев. А.П. Чехову очень нравился этот дом, он хотел купить его и вернуться в Таганрог, но отсутствие средств помешало ему это сделать.
С 1920 года в здании разместили филиал таганрогской городской детской больницы.
С 1974 года и по настоящее время в доме Чайковского находится нотно-музыкальный отдел Чеховской библиотеки, концертный зал и специальная комната-музей П. И. Чайковского. В библиотеке хранится большая коллекция нотных тетрадей, песенников, либретто и партитур различных оперных произведений, как русских, так и зарубежных. Имеется фонотека с интересными аудиозаписями. В небольшом, но очень уютном концертном зале регулярно проводятся тематические музыкальные вечера, на которых выступают таганрогские и приезжие музыканты.