На юге Баграт наступал не вооруженной силой, а дипломатией: он отправил свою мать Мариам в Армению. Как дочь царя Сенекерима она добилась получения девяти крепостей около Ани и там оставила грузинские гарнизоны. Даже византийцы начали признавать преимущество Баграта и повысили его ранг с куропалата до нобелиссимуса. Но лавров Баграт пожать не успел: в 1051 году византийцы заплатили выкуп и сельджуки освободили Липарита, который пробрался в Грузию.

Вместе с матерью и придворными Баграт поехал в Константинополь, чтобы прояснить отношения. Пока он был в разъездах, мальчик-наследник, будущий Гиорги II, царствовал в Кутаиси. Но поездка превратилась в трехлетнее заложничество, и коварный Липарит уговорил доверчивую царицу Борену, что Баграт больше никогда не вернется. В результате Борена разрешила Липариту перевезти Гиорги в Иберию в собор Руиси, где Липарит венчал Гиорги на иберийское царство под регентством Гурандухт, сестры Баграта, и себя самого, взявшего роль дядьки нового царя. Борена, должно быть, затосковала: муж был заложником византийцев, а сын марионеткой Липарита; ей приписывают строки, написанные некой Бореной под образом Богородицы в одной сванской церкви:

Византийцы, естественно, хотели, чтобы Грузия раскололась точно так же, как раскололась Армения, хотя единое сильное грузинское самодержавие против сельджукской угрозы им было бы больше на руку, чем мешанина из сварливых маленьких княжеств. К середине 1050-х годов Византия поняла, в чем состоит выгода: по просьбе Гурандухт они освободили Баграта, но при условии, что его не по чину умная мать останется еще на два-три года в Византии. Мариам ездила по святым местам и монастырям Анатолии: ее с трудом отговорили от поездки в Иерусалим, на который уже покушались сарацины. Византийцы продолжали признавать царство Баграта, к 1062 году называя его даже севастом. Липарит тем временем делал вид, что подчиняется: у него были влиятельные друзья среди сельджуков и греков, он решал судьбу наследника Гиорги и сам объявил себя пожизненным царем (архонтом) Самцхе, то есть почти всей Юго-Западной Грузии.

Судьбу Липарита предопределило именно это заявление. Местная знать в Самцхе, в особенности Сула Калмахели и его родня, возненавидела наглого выскочку. В 1058 году году Баграт без сопротивления арестовал Липарита вместе с сыновьями Иванэ и Няней, повез их в Кутаиси и, лишив самозванца потомственного удела (Триалети), привязал к виселице. Вместо того чтобы казнить мятежника, Баграт сжалился, постриг его в монахи и сослал в Константинополь. Сыновей тоже сослали: Няня умер в Армении, Иванэ, хотя его пустили на исконные земли Багвашей в Аргвети, добровольно поехал в Византию. Из Константинополя Липарит написал Баграту, предлагая отдать царю все владения Багвашей, если только Баграт позволит сыну Иванэ опять поселиться в Грузии. Согласившись, Баграт допустил роковую ошибку.

Упрочив государство, в 1060-х годах Баграт IV мог спокойно обратить свое внимание на культуру. Сопоставление и редактирование легенд и ранних летописей, входящих в Жизнь Картли (главного, а иногда и единственного, источника наших сведений), были осуществлены Леонти Мровели, епископом Руиси, при несомненной поддержке царя в 1060-х годах (запись, свидетельствующая о постройке грота епископом Мровели, относится к 1066 г.). В то же время Баграту удалось заманить в Грузию с Афона престарелого Гиорги Мтацминдели, с которым теперь дружила его мать. На Афоне Гиорги превратил Иверский монастырь в такой деятельный центр науки, что завистливые греческие монахи, которые науке предпочитали пассивное созерцание или сельскохозяйственный труд, начали травить «чрезмерно эрудированных еретиков» грузин и выгонять их с Афона. Вернувшись домой, Гиорги взял на себя преобразование грузинской церкви, и Баграт послал его назад в Византию вместе с восемьюдесятью грузинскими сиротами, которые пополнили бы контингент ученых монахов. (Об этом мы узнаем из латинской редакции