Потомок этих «горшешников» Афанасий Абрамович Гончаров нажил огромное состояние, которое оценивалось после его смерти в три с половиной миллиона рублей. Началось с того, что Петр Первый обратил внимание на крестьянина-самородка, отличавшегося гениальной предприимчивостью. Петр в те времена создавал русский флот и решил завести в России заводы по производству отечественных парусов. Под покровительством царя Афанасий Гончаров основал свой первый завод, в дальнейшем открывая все новые и новые фабрики. Их продукция пользовалась спросом не только в России, но и за границей. По преданию, весь английский флот того времени ходил на «гончаровских» парусах. Завел Гончаров и бумажное производство: бумага его фабрик считалась лучшей в России.

В семейном архиве сохранился автограф Петра, писанный из Голландии, в котором он уведомляет Гончарова, что нанял там и высылает ему мастера, опытного в «усовершенствовании полотен», и если выговоренная плата покажется Афанасию Абрамовичу слишком высокой, то он готов половину принять на счет царской казны. Известно, что в каждом важном случае Гончаров свободно обращался к царю за наставлением и добрым советом. После смерти Петра I дочь его императрица Елизавета продолжала покровительствовать Гончарову. Она пожаловала ему чин коллежского асессора, дававший право на потомственное дворянство. Екатерина II подтвердила это право специальным указом, выданным уже внуку Афанасия Абрамовича Афанасию Николаевичу, деду Н.Н. Пушкиной. Именно он сумел промотать миллионы и после смерти оставил полтора миллиона долгу.

Предчувствуя, что потомки не сохранят богатство, предусмотрительный Афанасий Абрамович превратил в майорат полотняный завод и бумажную фабрику, то есть в неделимое имение, которое должно было передаваться старшему в роде и не подлежало продаже и залогу. Майорат стал называться Полотняным Заводом. Со смертью отца, став полновластным властелином имения, Афанасий Николаевич сбросил обузу дел на руки управляющим и стал заботиться лишь о том, как пышнее обставить свою жизнь, как придумать новую неизведанную забаву. Сокровища, накопленные до него, казались неистощимыми. Гончаровская охота славилась чуть не на всю Россию, а оркестр из крепостных, обученный выписными маэстро, мог бы занять почетное место в столице…

Дом в Полотняном Заводе, построенный без особых архитектурных затей, размерами напоминал настоящий дворец. Афанасий Николаевич еще надстроил его, богато и на широкую ногу отделал внутри. Из описи обстановки того «богатого периода» гончаровской жизни ясно: владельцы ни в чем себе не отказывали. В комнатах стояла мебель, отделанная бронзой и инкрустацией, висели люстры фарфоровые и из венецианского стекла, дорогие сервизы и фамильное серебро с инициалами Афанасия Николаевича были подаваемы к столу хозяев и гостей.

Парк вокруг дворца был разбит на аристократический лад: гроты, беседки, статуи украшали его тенистые аллеи. В оранжереях выращивали заморские фрукты: ананасы на пирах были свои, не привозные. При конном заводе, где выводили породистых лошадей, при Афанасии Николаевиче был построен огромный великолепный, прямо-таки царский манеж, в котором устраивались конно-спортивные праздники. Толпы гостей съезжались на показы выездки лошадей, выдрессированных берейторами, которых приглашали из-за границы.

Пиры и празднества, продолжавшиеся иногда по месяцу и более, следовали один за другим. В доме управлялись до трехсот слуг и другой челяди. Зимой Гончаровы жили в Москве в собственном доме и вели такой же безрассудный образ жизни.