Теоретически страной руководила партия, но фактически над партией, а также и над правительством находился аппарат террора, непосредственно подчинявшийся Сталину. Любой деятель партии и правительства всегда мог исчезнуть без следа в этой могущественной системе «государственной безопасности» и даже в прессе ничего бы не сообщили ни об аресте, ни о суде, ни о расстреле, особенно если это был достаточно популярный деятель. Так произошло, например, в 1949 году с членом Политбюро и Председателем Госплана СССР Николаем Вознесенским и многими другими деятелями партии, которых нельзя было уже, как других в тридцатых годах, обвинить в «троцкизме», в «правом» или «левом» уклоне.

Аппарат МГБ был к этому времени настолько автономным, что даже в отделах ЦК КПСС были «спецотделы», подчиненные не ЦК, а МГБ. Это же относилось и к охране зданий ЦК. Офицеры и сотрудники МГБ имели право осматривать столы и сейфы работников ЦК КПСС. С другой стороны, Сталин, не доверяя Берии, создал автономную личную охрану, состоявшую в целом из двух-трех дивизий МГБ. Эти войска, носившие форму МГБ, подчинялись не министру МГБ, а лично Сталину и могли, если бы он приказал, арестовать любого деятеля государства, даже Берию и его аппарат. Командовал этой охраной, расположенной обычно вблизи резиденций Сталина в Кремле, под Москвой, в Крыму, возле Сочи и т. д., генерал Николай Власик, который был генералом Советской армии, а не войск МГБ. Он был предан лично Сталину и служил его главным телохранителем более 20 лет. Но в 1952 году Сталин, страдавший манией преследования, приказал арестовать генерала Власика.

После смерти Сталина эту систему террора, контролировавшую все процессы в стране, взял в свои руки Берия, активно реорганизовав ее с учетом собственных амбиций. Он быстро назначил на наиболее ответственные посты в МВД преданных ему людей и, несомненно, готовил всю систему для возможного захвата власти. И это был вполне реальный вариант развития событий. Однако сразу после смерти Сталина ни политическая, ни экономическая обстановка в стране еще не давали повода для какой-либо коренной реорганизации с участием МВД, но он мог возникнуть в любой момент. Хорошо известно, что Берия не дождался этой возможности, так как в конце июня 1953 года был арестован во время заседания Президиума ЦК КПСС. Судя по воспоминаниям Хрущева, заговор был организован благодаря содействию высшего руководства армии, ведь органы государственной безопасности были лояльными Берии. Милиция вообще не была готова выполнять какие-либо политические функции такого рода. Кроме Берии арестовали его ближайших сотрудников (В. Меркулова, В. Деканозова, Г. Кобулова и других), но в действительности кроме этих имен, упоминавшихся впоследствии в Обвинительном заключении по делу Берии, был быстро ликвидирован весь центральный аппарат органов госбезопасности, а также смещены начальники областных и республиканских управлений. Практически на определенный период в системе МВД бывшая в ней ранее автономная система государственной безопасности перестала существовать. Она возродилась только в начале 1954 года, но уже в форме особого Комитета государственной безопасности (КГБ), который возглавлял Серов, многие годы работавший с Хрущевым на Украине и не имевший политического влияния.

После Серова, недолго занимавшего пост Председателя КГБ (Серов был профессионал государственной безопасности и, несомненно, участвовал в многих карательных операциях прошлого), Председателем КГБ был назначен А. Н. Шелепин, лидер ВЛКСМ, и под его руководством реорганизация аппарата КГБ приобрела более отчетливый характер. Большая часть профессиональных чекистов была удалена со всех ответственных постов и их иногда генеральские должности переходили к сравнительно молодым руководителям московских и областных комсомольских организаций. Некоторым членам обкомов и райкомов ВЛКСМ поручили формировать областные управления КГБ. Районные отделы госбезопасности были просто ликвидированы, как и многие «спецотделы» на предприятиях и в учреждениях небольшого и среднего размера.