В мае 1896 г. медицинская ссылка уступила место семейной необходимости. Карл Людвиг со своей семьей после посещения Франца Фердинанда в Египте предпринял путешествие в Палестину. Там, игнорируя предупреждения и находясь, по всей видимости, в религиозном экстазе, он пьет воду из реки Иордан; в Вену он возвращается уже больным тифом. Сообщение от мачехи заставило Франца Фердинанда срочно сесть на экспресс, идущий домой, но, прежде чем он добрался до Вены, пришло известие, что его отец скончался. Смерть отца в сочетании с болезнью и напряженной обстановкой в Вене чуть не сломили Франца Фердинанда. Опасаясь рецидива, императрица поспешила отослать эрцгерцога подальше от столицы, чтобы продолжить его лечение.

Череда событий, произошедших в Вене во время его отсутствия, окончательно укрепила нелюбовь Франца Фердинанда к императорскому двору в целом и в частности к принцу Альфреду де Монтенуово (Alfred de Montenuovo), императорскому обергофмейстеру и лорду верховному камергеру. Лежал ли в основе дальнейших событий непредсказуемый темперамент эрцгерцога? Или опасения людей, видевших в эрцгерцоге или опасного либерала, который стремился разрушить старый порядок, или фанатичного реакционера, представлявшего опасность стабильности трона? Или причиной стали болезни эрцгерцога, побудившие многих списать его со счетов? В случае последнего варианта эрцгерцог предполагал, что его «враги при дворе и в политике», пользуясь его заболеванием, хотели «изолировать его» и «сделать его импотентом». Монтенуово, думал Айзенменгер, с радостью воспримет «самые жесткие меры» и уже видит эрцгерцога «среди мертвых». Он объединился вместе с министром иностранных дел графом Агенором Голуховским (Agenor Goluchowski) в попытке устранения Франца Фердинанда и возведения на престол его младшего брата Отто.

Идея была абсурдной. К 1896 г. Отто признавался всеми как самый бесчестный из эрцгерцогов Дома Габсбургов, «один из самых страшных живущих людей», – утверждал один аристократ. После его брака без любви на принцессе Марии Йозефе (Maria Josepha), дочери короля Саксонии Георга, Отто был крайне неверным супругом и даже не пытался скрывать факты посещения борделей и соблазнения женщин по всей столице. Франц Иосиф отказался вмешиваться. Он всегда отдавал предпочтение Отто перед холодным Францем Фердинандом и прощал поведение своего племянника, говоря, что это не более чем «юношеские глупости».

В Хоффбурге Франц Фердинанд имел лишь несколько небольших комнат; Голуховский уговаривал императора, чтобы отдать Отто огромный дворец Аугартен, чья внушительная резиденция хорошо подходила для возможного наследника престола. Франц Фердинанд игнорировался, а Отто получил дом и личных слуг. Франц Фердинанд оставался в тени, а Отто выполнял общественные обязанности от имени императора и даже принимал официальные отчеты министров правительства. В 1896 г., когда царь Николай II и его жена приехали с официальным государственным визитом в Вену, Франц Фердинанд был демонстративно исключен из списка лиц, допущенных на императорские приемы и ужин; в следующем году для ответного визита в Санкт-Петербург Франц Иосиф взял с собой вместо Франца Фердинанда Отто.

Такие публичные оскорбления не остались в Вене незамеченными. Слухи утверждали, что Франц Фердинанд будет скоро исключен из престолонаследования, а популярные газеты говорили, что он едва цеплялся за жизнь. Все это, настаивал он, делалось для того, чтобы «похоронить его заживо». Франц Фердинанд жаловался графине Норе Фуггер: «Вы должны понять, что в этой жалкой и унизительной ситуации, в которой я оказался как наследник престола, находящийся, так сказать, на оплачиваемом отпуске, я не хочу показываться в Вене и чего-то там добиваться. Кажется невероятным, что Голуховский и его последователи, считающие, что действуют ради какого-то высшего блага, оскорбляют меня, отдаляют меня и просто убивают меня морально». Он не обвинял слабохарактерного Отто, но вымещал свой гнев на стоящих за ним чиновниках. «Я больше не берусь в расчет и просто игнорируюсь. Если бы они хотя бы спросили меня, как я отнесусь к тому, что обязанности, которые я не могу выполнять из-за своей болезни, будут возложены на моего брата Отто, – я бы так не расстраивался. Но все решается за моей спиной и так, словно бы я уже умер».