До девяностых годов XIV века Ричард II почитал принца Джона, доверял ему и полагался на него. Статус Джона Гонта как политика к этому времени настолько вырос, что даже его заклятый враг, хронист Томас Уолсингем, вынужден был описать его как человека достойного и верного своим клятвам. Чосер, свояченица которого стала третьей женой Джона Гонта, называл своего покровителя «уступчивым, на удивление сведущим, способным и разумным», в то время как Фруассар восхвалял его как «мудрого и наделенного богатым воображением».

По словам Чосера, посвятившего «Книгу о королеве» первой жене Джона Гонта, Бланка Ланкастерская была прекрасной, золотоволосой, высокой и стройной. Она умела читать и писать, немалая редкость в ту эпоху, когда женское образование не поощрялось, ибо давало женщинам возможность писать любовные послания. Однако репутация Бланки была безупречна, и потому она считалась целомудренной покровительницей писателей и поэтов. Она родила Джону Гонту восьмерых детей, из которых до зрелого возраста дожили лишь трое: Филиппа, вышедшая замуж за Иоанна I, короля Португалии, Елизавета, которая сочеталась браком с Джоном Холландом, первым герцогом Эксетерским, и Генри Боллингброк, наследник Джона Гонта. Бланка умерла во время третьей эпидемии «черной смерти» в 1369 году и была погребена в старом соборе Святого Павла.

Во второй брак с Констанцией Кастильской Джон Гонт вступил по политическим соображениям. У них родились двое детей, Джон, который умер в младенчестве, и Екатерина, вышедшая замуж за Генриха III, короля Кастилии. Констанция умерла в 1394 году.

13 января 1396 года в Линкольнском соборе принц Джон обвенчался в третий раз, и теперь уже женился по любви. К этому времени невеста уже четверть века была его любовницей. Звали ее Кэтрин Суинфорд, она была дочерью герольдмейстера Гиени и вдовой сэра Хью Суинфорда, который погиб в бою с французами в 1372 году. На момент заключения брака с принцем Джоном Гонтом ей исполнилось сорок шесть лет. Полагают, что она приходилась сестрой Филиппе Пикар – фрейлине королевы Филиппы Геннегау и кастелянше Бланки, герцогини Ланкастерской, а возможно, также жене поэта Джеффри Чосера.

Кэтрин впервые привлекла внимание принца Джона Гонта, когда была приглашена «гувернанткой» к его дочерям от герцогини Ланкастерской. Фруассар уверяет, что их роман начался за год до смерти Бланки. Он совершенно точно не прервался и после того, как Джон Гонт женился на Констанции, но не сделался предметом осуждения до 1378 года, когда, по словам Уолсингема, пара начала открыто жить во грехе. Три года спустя эта связь стала достоянием молвы. В расходных книгах Джона Гонта упомянуты дары, преподнесенные им Кэтрин между 1372 и 1381 годом, однако в этот год, истолковав ущерб, понесенный им во время крестьянского восстания, как свидетельство гнева Господня, он отверг Кэтрин, а в 1382 году она оставила свою должность и удалилась в линкольнширские и ноттингемширские имения, подаренные ей любовником.

Кэтрин родила Джону Гонту четверых детей, получивших фамилию Бофорт по названию феодального поместья и замка Бофóр во французской Шампани, которые некогда принадлежали ему, но были утрачены в 1369 году, еще до их рождения. Этим детям и их потомкам предстояло определять английскую политику в течение следующего века и даже дольше, и справедливо говорилось, что история Бофортов есть история Англии этого периода. Даты их рождения неизвестны, но старший, Джон Бофорт, вероятно, родился в начале семидесятых годов XIV века, потому что в 1390 году он уже одерживал блестящие победы на рыцарских турнирах во Франции, устраиваемых французским королевским двором в Сен-Энглевере. От Джона будут происходить Бофорты, герцоги Сомерсеты, а затем и королевская династия Тюдоров. Второй сын, Генри, изучал юриспруденцию в немецком Аахене, а потом в Кембридже и Оксфорде, после чего принял духовный сан и впоследствии возвысился до кардинальского звания и сделался одним из наиболее влиятельных людей в королевстве. Третий сын, Томас, был еще слишком юн, чтобы быть посвященным в рыцари в 1397 году, когда Бофорты были узаконены, однако в свое время стал герцогом Эксетерским и сыграл важную роль в войнах с Францией, тогда как Джоан, единственная дочь от этого союза, сочеталась браком с могущественным Ральфом Невиллом, первым графом Вестморлендом, и стала прародительницей весьма многочисленного и разветвленного семейства Невилл.