Самым узнаваемым зданием Ульяновска является построенный в начале XIX века Дом семейства Гончаровых.
Точная дата постройки дома, к сожалению, не сохранилась. Но на городских планах Симбирска конца XVIII века уже было обозначено белое каменное здание в два этажа, собственником которого являлась семья Гончаровых.

Сам знаменитый писатель, автор известных произведений «Обломов», «Обрыв» и «Обыкновенная история» Иван Александрович Гончаров родился в Симбирске 6 июня 1812 года в семье купца 3 гильдии Александра Ивановича Гончарова и Авдотьи Матвеевны Гончаровой. В доме на Большой Саратовской улице прошло его детство. Сюда он приезжал на каникулы московским студентом, а также в зрелые годы – в 1849, 1855 и в 1862 годах.


Одну из комнат у Гончаровых арендовал крёстный отец писателя – Николай Трегубов, отставной моряк. С его необыкновенной личностью связаны воспоминания маленького Вани, который считал дядю неотъемлемой частью семьи, и скорее всего его морские воспоминания подвигли Ивана Александровича на знаменитое путешествие на фрегате «Паллада».

После страшного городского пожара 1864 года дом значительно пострадал: был поврежден фасад и практически полностью сгорели многочисленные надворные постройки. Гончаровы приняли решение о продаже дома, который в последствие перекупался несколько раз.
«Многие жители города отказывались не только от нового строительства домов, но даже от ремонта обгоревших каменных. Так был продан каменный дом на углу Большой Саратовской и Московской улиц, в котором родился известный писатель Иван Александрович Гончаров и в котором до пожара проживал его брат», - писал в своей книге «Архитектурно – исторические образы Симбирска» Борис Аржанцев.

В июне 1880 года дом приобретает купец Карл Юргенс. Через некоторое время двухэтажное здание перестраивают, добавляя еще этаж и практически полностью изменяя внешний вид. При этом использовались стены старого дома, включая внутренние. Также сохранили внутреннюю планировку, в то время как наружные стены выложили новой кирпичной кладкой, расширили оконные проемы и сделали пристройки с восточной и южной сторон. На первом этаже теперь располагался один из магазинов Юргенса, в котором продавали канцелярские и музыкальные товары, мебель, оружие, велосипеды и другие пользующиеся спросом товары. На втором и третьем - отделение Дворянского земельного и Крестьянского поземельного банков, женская гимназия В.Кашкадамовой, типография и частная квартира.
Только лишь в 1904 году дом был оборудован водопроводом и канализацией. Примерно в то же время по заказу братьев Юргенсов изготовили доску из черного шведского гранита с барельефом Ивана Гончарова (скульптор Б.Микешин). Само изображение писателя было отлито из бронзы в художественной мастерской в Санкт-Петербурге. Доска с текстом: «Здесь родился Иван Александрович Гончаров 6-го июня 1812 г.» была установлена 16 сентября 1907 года на уровне второго этажа на северо-западном углу перестроенного дома.
После 1918 года дом муниципализировали. В советское время в нем располагались, сменяя друг друга Симбирский пролетарский университет, типография № 1, Центрокурсы, 9-я школа. Кроме этого, здесь было 12 квартир и 36 жителей. С конца 1960-х годов в доме располагалась седьмая средняя школа имени В.Кашкадамовой, позднее - первая вечерняя средняя школа.

Последним изменением внешнего вида стало появление в 1974 году башенки с городскими часами. Построена специально для часов (точнее, для их циферблатов и колокола) по проекту архитектора Серафима Титова.
Сами часы появились в Симбирске в 1869 году. Они размещались буквально в сотне метров от Дома Гончарова - на колокольне Спасо-Вознесенского собора, стоявшего на месте нынешнего сквера Гончарова. Эти часы в 1868 году изготовил в Англии механик Куке по заказу почётного гражданина Симбирска Владимира Орлова, который и подарил городу часы. Они обошлись в баснословные по тем временам 10 000 рублей. В 30-е годы часы были вынесены из разрушенного собора и хранились в одном из административных зданий. Лишь в 1974-м они были установлены в специальной башенке на Доме Гончарова.
Чтобы часы били, нужен колокол. И его нашли. У колокола своя интересная судьба. Он был отлит ещё в XVIII веке для храма в селе Головкино. Причём отлит по заказу графа И.Г. Орлова - предка того самого Орлова-Давыдова, подарившего городу часы. В 1950-е при строительстве каскада ГЭС село Головкино оказалось в зоне затопления Куйбышевского водохранилища (и дало название Головкинским островам недалеко от Старой Майны). 48-пудовый колокол топить не стали, а отвезли в Старую Майну, где использовали на пожарной каланче, а в 1974, при реанимации часов, привезли в Ульяновск. Так две реликвии соединились, став новым символом города.
С тех самых пор дом Гончарова стали называть домом с часами, а позднее – ульяновским Биг-Беном.

С 2009 года по настоящее время в здании располагается Историко-мемориальный центр-музей И.А.Гончарова. Первый и единственный в России музей известного писателя в Ульяновске был открыт в 1982 году, но тогда занимал только первый этаж здания. Экспозиции наполнены подлинными вещами и предметами быта того времени. В музее можно увидеть первые издания романа «Обыкновенная история» и цикла очерков «Фрегат Паллада», рукопись романа «Обломов» и даже воссозданный по тексту Гончарова интерьер кабинета знаменитого героя.