6 (17) февраля 1749 г. Кейзерлинг сообщил графу Подевильсу, что с сожалением покидает пост в Берлине, хотя рассчитывал остаться здесь до конца жизни, добавив в раздумье, что, возможно, этого бы не произошло, если бы королю «было угодно заполнить вакансию государственного министра Финкенштейна другим человеком такого же характера и достоинства». Фридрих II велел сделать дипломату при отъезде как можно больше комплиментов, но одновременно выразить сожаление, что российский и прусский дворы не слишком хорошо понимают друг друга263.

Так были разрушены надежды Кейзерлинга на спокойную старость. Все пришлось начинать сначала. Дом он, вероятно, продал, потому что уже в 1750 г. купил у первого министра саксонского двора графа Генриха фон Брюля (Heinrich von Brühl, 1700–1765) имение Гаусиг в провинции Баутцен. Но и в Дрездене надолго задержаться не получилось. В марте 1752 г. Елизавета Петровна решила отозвать посла М. П. Бестужева-Рюмина из Вены, поскольку в деле переселения австрийских сербов в Российскую империю он проявил излишнюю настойчивость и вызвал недовольство Марии Терезии. Кейзерлингу пришлось исправлять ошибки коллеги264.

В письмах вице-канцлеру Михаилу Илларионовичу Воронцову (1714–1767) сначала из Вены, а затем из Дрездена, где после отзыва М. П. Бестужев-Рюмин жил несколько лет, он не жалел красок, чтобы расписать пороки и слабости своего преемника на посту в Вене – человека ленивого, но «комодного» (с легким характером) и избалованного. М. П. Бестужев-Рюмин постоянно намекал на нечистоплотность Кейзерлинга и некие его «виды» во вред России (в сговоре с саксонским министром графом Брюлем), упрекал дипломата в том, что он когда-то служил Бирону, недоумевая, как польский подданный вообще может быть российским представителем в Польше, получать от короля земельные владения (в Литве и в Пруссах под Слуцком265) и при этом пользоваться расположением сильных мира сего как в России, так и за ее пределами, к примеру добиться для сына Генриха (1727–1787) чина рейхсгофрата (имперского надворного советника) в Вене266.

Личная жизнь курляндца также не давала покоя М. П. Бестужеву-Рюмину: в 1755 г. в Вене Кейзерлинг при живой жене и законных детях жил с некой женщиной из Тироля, недворянского происхождения, имел от нее дочь и добивался от венского двора пожалования обеим баронского титула. Получив отказ, он продолжил хлопотать по этому делу, и Мария Терезия разрешила произвести их в дворянство с уплатой обыкновенной таксы, что стоило дипломату тысячу гульденов. «Метреса» (т. е. любовница) садилась с гостями за стол, пользовалась посольским экипажем, в общем компрометировала посла, а в его лице и российский двор267. Обвинения, высказанные М. П. Бестужевым-Рюминым, можно расценивать как продолжение дискуссии, развернувшейся в начале елизаветинского царствования, о том, могут ли иноземцы честно служить России и не следует ли заменить их национальными кадрами. Но к этим аргументам явно примешивалась обыкновенная человеческая зависть, вызванная потерей престижного поста в Вене. Кроме того, М. П. Бестужев-Рюмин при живой жене А. Г. Бестужевой-Рюминой (? – 1751), сосланной на каторгу по обвинению в заговоре против Елизаветы Петровны в 1743 г., жил с уроженкой Саксонии Иоганной Генриэттой Луизой фон Гаугвиц и обвенчался с ней в 1749 г., не получив разрешения императрицы на брак.

Совсем другое свидетельство о пребывании Кейзерлинга в Вене оставил в 1753 г. будущий польский король Станислав Август Понятовский, с семьей которого дипломат подружился еще в начале 1740‐х гг. в Дрездене. К юному Станиславу он тогда искренне привязался и даже в свободное от службы время преподавал ему логику и математику, называя своим учеником, а в 1750 г. настоял, чтобы родители отправили Понятовского в Берлин к опытному врачу Либеркюну для лечения (как оказалось, успешного) желудочных спазмов. В австрийской столице Кейзерлинг прослыл чудаком и домоседом, запустившим дела и проводившим время главным образом за книгами и беседами с учеными. С министрами императорского двора он общался только в случае крайней необходимости. Однако, по мнению Понятовского, это была лишь видимость, необходимая для того, чтобы успешно заниматься шпионажем