Отто всегда отличался жизнелюбием и страстной тягой к удовольствиям. В отличие от сдержанного и спокойного Франца Фердинанда Отто был шутником. Однажды он написал на открытке с изображением моряка своему брату: «О-ла-ла от матроса!» Люди называли его «красавчик Отто», и всеобщее внимание вскружило ему голову. У него были некоторые садистские наклонности, и его «поведение было темой для городских сплетен». Многие слухи про Отто были явно сомнительной достоверности. Он якобы лишал животных возможности пить на несколько дней, а потом давал им воду, позволяя пить избыточно и умирать в муках; или что он привязал раздетого солдата к воздухонагревателю и наблюдал, как его кожа покрывается волдырями. Даже рассказывали о том, что однажды Отто убил военного курсанта, заставив того лить себе бренди в горло до тех пор, пока тот не умер от алкогольного отравления.

Франц Фердинанд не поддавался таким порокам, хотя по молодости также порой вел разгульную жизнь. Он танцевал, пил и охотился со своим братом и товарищами-офицерами. Наряду с публичными выходками были и приключения более интимного характера. Франц Фердинанд однажды выразил довольно сомнительное восхищение физическими прелестями актрисы Мицци Каспар, женщины, которая разделяла постель с его кузеном Рудольфом, а некоторые певицы и танцовщицы скорее всего познакомили его с тайнами секса.

2 июля 1885 г. женщина по имени Мэри Жонке (Mary Jonke) родила мальчика, которого назвали Генрихом. Она утверждала, что Франц Фердинанд был его отцом, и в апреле следующего года пыталась подать в местный районный суд на эрцгерцога. После некоторых переговоров Франц Фердинанд согласился выплатить ей около 15 000 гульденов (около $150 000 в пересчете на 2014 г.), чтобы прекратить все дальнейшие претензии. 29 августа 1889 г. двадцатиоднолетняя Мэри Хэн (Marie Hahn), служащая из пражского магазина одежды, родила сына, которого она назвала Курт. Как и Жонке, она также настаивала на том, что Франц Фердинанд был его отцом. Придворный выслушал ее претензии и дал совет Хэн, что если она подаст дело в суд, то только потеряет; деньги Габсбургов купили ее молчание.

Появление внебрачных детей у Габсбургов едва ли можно было назвать скандальной новостью: они были даже у императора Франца Иосифа. В случае с Францем Фердинандом ни одно из таких утверждений не было когда-либо доказано. Возможно, эти женщины действительно имели отношения с Францем Фердинандом. Но независимо от того, были ли эти обвинения правдой или нет, Франц Фердинанд не мог рисковать и доводить дело до подачи иска на отцовство в суд. Но эти слухи, ходившие по Вене, только усилили негативные стереотипы о нем. Несколько неожиданным стало то, что кузен Франца Фердинанда Рудольф, несмотря на собственную репутацию в этом вопросе, неожиданно пришел ему на помощь. Наследный принц знал слишком хорошо, как быстро распространяются слухи среди императорского двора и как они формируют людское мнение. Франц Иосиф, будучи сам уже не при дворе, тем не менее, казалось, был в курсе всех самых последних семейных скандалов и на собственном опыте знал, как быстро пузыри сплетен раздуваются в обвинения. В надежде спасти своего кузена от подобной судьбы Рудольф предостерег Франца Фердинанда от того, чтобы проводить слишком много времени вне своего полка и чрезмерно предаваться удовольствиям. Он сказал, что «нужно наслаждаться своим здоровьем в полном объеме, но всегда в меру и с умом». Эрцгерцогу не следует «отправляться на конную прогулку или на охоту слишком рано», так как это может повернуть расположение императора против него. Временами Франц Фердинанд даже начинал протестовать. «Вы должны признать, что с Отто и со мной обходятся несправедливо, – пожаловался он Рудольфу в 1888 г. – Как только видят, что мы отправляемся на охоту или какие-нибудь никчемные танцы, так сразу крик негодования поднимается на всю Вену, на весь Двор, а в армейском кругу нам ставят в вину уклонение от нашего долга».