После нескольких неудачных попыток Иосип поступил на работу механиком и, видимо, именно тогда стал членом коммунистической партии. Деятельность компартии в Югославии с 1921 г. была нелегальной, и высокая политическая активность молодого рабочего была по достоинству оценена властями: в конце концов он был арестован.

С ноября 1928 г. по март 1934 г. Тито находился в тюрьме, расположенной в бывшем паулинском монастыре Белых братьев около Загреба, куда он был помещен по приговору суда за «хранение бомб и нелегальной коммунистической литературы». В это время его жена Пелагея вернулась домой в Россию, где полюбила другого мужчину, а сына Жарко бросила, оставив скитаться по детским домам (позже отец разыскал мальчика и забрал к себе). Неверность жены глубоко задела Тито, но в те дни партия косо смотрела на подобные проявления «буржуазных чувств», поэтому свой брак они расторгли по взаимному согласию в Москве в 1936 г.

В 1938 г. Пелагея Белоусова была арестована органами НКВД. К тому времени она вторично вышла замуж. Через два года ее освободили. В 1948 г. после конфликта Сталина и Тито она была снова репрессирована как бывшая жена Генерального секретаря ЦК КПЮ и приговорена к 10 годам тюремного заключения. Реабилитировали ее в 1957 г. Только в 1966 г. советские власти разрешили Жарко приехать в Москву и увидеть мать. По такому случаю ей даже дали двухкомнатную квартиру в доме № 30 по Староконюшенному переулку. В апреле 1968 г. Пелагея Денисовна умерла от сердечного приступа. Тито поручил югославскому послу в Советском Союзе возложить венок на могилу бывшей супруги от его президентского имени. По утверждению людей, близко знавших вождя, он неохотно вспоминал о своем первом браке.

В марте 1934 г. Иосип вышел на свободу. В Югославии назревали перемены, но он покинул страну и направился в Москву для работы в Исполкоме Коминтерна. В это время он второй раз женился. Его женой стала Люция Боуэр (Иоганна Кениг), немка по национальности, которая осенью 1937 г. по приказу Сталина была арестована «за сотрудничество с гестапо» и сгинула в застенках НКВД. Убедившись в деловых качествах Тито и его верности делу мировой революции, Сталин назначил его на должность Генерального секретаря ЦК Коммунистической партии Югославии и отправил на родину.

Выполняя поручения московского руководства, перед началом Второй мировой войны Тито познакомился с двумя девушками, которых позднее называл своими «гражданскими женами».

Первой «женой» стала красивая замужняя студентка Терта Хас Мацика – словенка австрийского происхождения, которая была на 22 года моложе Иосипа. Член компартии с 1936 г., она была курьером Политбюро ЦК КПЮ, а затем стала личным секретарем генсека. В начале 1941 г. у Терты Хас и Тито родился сын Александр-Мишо.

Весной того же года в Югославии произошел государственный переворот. Новое правительство подписало пакт о дружбе и ненападении с СССР, а днем позже немецкие самолеты засыпали Белград бомбами. Город горел, радио молчало, мародеры грабили магазины. Через границу двинулись немецкие, венгерские, итальянские и болгарские дивизии. Хорваты, составлявшие значительную часть армии Югославии, не собирались умирать за сербского короля, который был вынужден бежать из страны.

Гитлер разделил страну на несколько частей. Участники агрессии отхватили каждый по куску, а на остатках Югославии возникло так называемое Независимое государство Хорватия. Возглавил его фанатик-националист Анте Павелич и его партия усташей. С первого дня существования новой власти католики-хорваты развернули чудовищный геноцид сербов. Доходило до того, что настоящие оккупанты – немцы и итальянцы – спасали население сербских деревень. Насилие хорватов вызвало ответную народную войну, но коммунисты в ней на первых порах главной роли не играли. Борьбу против усташей начали сторонники изгнанного короля – четники, во главе с полковником Драголюбом Михайловичем.