Были у него и могущественные враги в СМИ. Большинство газет в Швеции пользовались независимостью, получая финансирование не от социалистов. Помимо этого, Пальме умудрился обрести врага в лице самого влиятельного шведского журналиста. Ян Гийу, репортер социалистического журнала Folket i Bild Kulturfront, обнаружил, что социал-демократическая партия под началом Пальме прибегала к помощи Информационного бюро (ИБ), военной службы разведки, в собственных интересах, среди прочего для того, чтобы записывать разговоры лиц, заподозренных в симпатиях к коммунистам. Результатом стало подобие уотергейтского скандала.
Но Пальме разыграл свои карты лучше, чем президент Никсон. Он остался на посту, а вот Гийу и его коллега журналист Петер Блатт даже получили по году тюрьмы за шпионаж. Однако такого противника, как Гийу, лучше не задевать. Несколько лет спустя он напал на Пальме в связи с делом Гейера. Выяснилось, что шведские политики во главе с министром юстиции Гейером были частными клиентами проституток. Пальме едва ушел от критики: его помощники, представитель полиции Ханс Хольмер и пресс-секретарь Гейера Эббе Карлсон, приложили руку к официальным опровержениям, основанным на откровенной лжи.
Последней попыткой Гийу задеть Пальме стало так называемое гарвардское дело, в котором не нашлось виновника, но которое напрямую касалось морального облика премьера. Во время интервью по радио Гийу прямо спросил Пальме, заплатит ли он налоги со стипендии своего сына Иоакима, которой тот был обязан лекциям отца в Гарварде. Улоф, который обычно не лез за словом в карман, замялся и только потом бросился опровергать.
Как только в разных слоях общества появились горячие противники Пальме, остановить их уже было невозможно. Начались оппозиционные кампании. В газетах печатали карикатуры на Пальме – с крючковатым носом, плохими зубами и темными кругами под глазами. При этом были и другие, те, кто, очевидно, не находил в его внешности ничего смешного или отталкивающего. Некоторые женщины, и среди прочих актриса Ширли Маклейн, заявляли, что состояли в любовной связи с ним. Распространялись слухи о его супружеских изменах, хотя, похоже, и преувеличенные.
Во многих ежедневных газетах публиковались агитационные тексты на всю полосу, метившие в Пальме и его политику. Стало использоваться в уничижительном смысле слово «пальмеизм», хотя непонятно было, какая именно идеология под ним подразумевается. Газетные агитки оплачивались актрисой Джио Петре и ее товарищем, доктором Альфом Энерстрёмом, но ясно, что за публикациями стояли гораздо более внушительные финансовые силы, люди, которые готовы были тратить на это миллионы крон. Одновременно журнал отчетливо правого направления «Контра» продавал мишени для дротиков с карикатурным лицом Улофа Пальме.
Очередные выборы в 1985 году опять привели к власти социал-демократическое правительство. На одном из предвыборных мероприятий Партии умеренных из рук в руки бросали куклу Улофа Пальме, глумясь и насмехаясь над ней.
3 ноября 1985 года газета Svenska Dagbladet опубликовала в редакторской колонке письмо морского капитана Ханса фон Хофстена, где он признавался, что премьер-министр внушает ему и его коллегам недоверие своей политикой в отношении СССР.
На Улофа Пальме оказывалось давление. Ходили слухи, что он отступится и удовлетворится постом в ООН. Он устал. Самый яркий и влиятельный шведский политик был окружен оппозицией со всех сторон. Дальнейшие перспективы в любом направлении выглядели смутно. И вот наступило 28 февраля 1986 года.