На самом деле, хоть его и отлучили от общественной жизни, он этим не особо тяготился. Он следил за постройкой замка и начал писать «Любовь в истории галлов», в которой рассказывал о любовных похождениях многих известных лиц при дворе. Все это посвящалось мадам де Монгла, которая была, представьте себе, самой любимой из его любовниц.

Рукопись была написана не для печати, и он тайком носил ее под верхней одеждой. Но как-то раз одна его «подруга» обнаружила копию рукописи и отдала ее в печать. Это была настоящая катастрофа, потому что принц де Конде оказался чрезвычайно недоволен малопривлекательным описанием своих похождений и поспешил заказать анонимному перу произведение под названием «Галантная Франция», где рассказывалось о любовных приключениях короля и мадам де Ля Валльер.

На этот раз Людовик XIV, которого развеселила «Любовь в истории галлов» и который даже был бы не против пригласить ее автора в Академию, очень рассердился и отправил бедного Бюсси в Бастилию, хоть он и был на этот раз невиновен. Попал он туда 16 апреля 1655 года и просидел тринадцать месяцев, а затем, как уже упоминалось, уехал в изгнание в свой замок.

Там, в Бюсси-Рабютене, он жил с семьей и создал свой особый мир. Сам он объяснял это так:

«Здесь столько разных забавных вещиц, которых нигде больше не найти; к примеру, у меня есть галерея с портретами всех французских королей, начиная с Гуго Капета, а под ними подписи, рассказывающие, чем они были знамениты. С противоположной стены – государственные и литературные деятели. Чтобы разбавить все это благородное собрание, в другом зале находятся портреты любовниц и подружек наших королей, начиная с красавицы Аньес, любовницы Карла VII. Передняя, предшествующая этой галерее, включает экспозицию с портретами членов моей семьи, а эта комната заканчивается большой приемной, где находятся портреты самых красивых придворных дам, собственноручно мне их подаривших». Излишне говорить, что эти красавицы действительно были хороши настолько, чтобы с них писались портреты.

Несмотря на все злоключения, перо де Бюсси не лежало без дела. Граф написал «Воспоминания», «Краткую историю правления Людовика Великого», «Разговор с моими детьми» и огромное количество писем, главным получателем которых была мадам де Севинье. С ней он был в ссоре на протяжении нескольких лет из-за одной истории, в которой маркиза повела себя не самым лучшим образом.

С женой, предпочитавшей оставаться в Париже, он не жил. Его любимой соратницей была его дочь Луиза, маркиза де Колиньи, молодая вдова, к которой он испытывал глубокие нежные чувства. Эта нежность подтолкнула его помочь Луизе в ее грустной авантюре с неким Ля Ривьером. Этот господин был всего лишь жуликом из высшего общества, но она родила от него ребенка и не могла избавиться от этого прохвоста даже после судебного процесса, который маркиза проиграла, потому что «имела неосторожность сыграть тайную свадьбу против воли своего отца».

Бюсси, конечно, не дал в обиду свою дочь, а сам скандал его не задел. В 1682 году король даже разрешил ему вернуться ко двору. Но графу было уже шестьдесят четыре года, а в таком возрасте уже слишком поздно вновь начинать вести придворную жизнь, обратную сторону которой Бюсси прекрасно знал. В семьдесят три, однако, он предпринял последнюю поездку, чтобы полюбоваться великолепием Версаля. Три года спустя он умер от апоплексического удара в Отене.

После его смерти замок по очереди переходил от одного его сына к другому, затем – к одной из дочерей, которая продала его советнику Парламента Этьену Дагонно. Затем замок находился во владении его потомков. Лишь в 1929 году, наконец, замок перешел в руки государства.