Хотя, по большому счету, и это была болтовня, не нашедшая широкой поддержки, но меры были суровыми. Оппозиционеров надо было проучить, и их проучили. 2 октября 1932 года Объединенный пленум ЦК и ЦКК, рассматривавший дело «Союза», принял решение об исключении из партии его членов и всех, знавших о его существовании (!) и не сообщивших о нем в ЦК или ЦКК. 11 октября без суда, решением коллегии ОГПУ, всем 24 человекам, проходившим по делу «Союза», вынесли приговор. Сталин потребовал расстрела Рютина – а ведь в то время он отнюдь не бросался смертными приговорами направо и налево (так, например, он был против смертного приговора обвиняемым по «шахтинскому делу», где были не призывы, а конкретный саботаж). Одним из аргументов Сталина стали сводки ОГПУ о том, что среди молодежи усиливаются террористические настроения.

Однако приговор не прошел. При голосовании на Политбюро против высказались Киров, Орджоникидзе, Куйбышев. Воздержались даже Молотов и Каганович. Рютина приговорили к десятилетнему одиночному тюремному заключению. Остальные тоже получили срок тюрьмы или ссылки, в том числе Зиновьев и Каменев. Всего по делу «Союза марксистов-ленинцев» было привлечено к партийной и уголовной ответственности в 1932–1933 годах тридцать человек. Впоследствии всем им приговоры были ужесточены, а в 1937 году большинство «рютинцев» приговорили к расстрелу.

Сталин придавал исключительное значение возникновению «Союза». На процессах 1936–1938 годов большинство подпольных «центров» признавалось выросшими из «Союза», а тот факт, что коммунист читал «рютинскую платформу», уже сам по себе был тяжелым государственным преступлением. Рютина, и его товарищей не реабилитировали ни в 1956, ни в 1963, ни даже в 1986 году. В ответ на очередную просьбу о реабилитации В. Н. Каюрова Прокуратура СССР ответила: «К уголовной ответственности за участие в контрреволюционной деятельности и проведение антисоветской агитации был привлечен обоснованно». Только в 1988 году, когда оправдывали всех, Верховный Суд реабилитировал всех участников «рютинского дела».

Несмотря на то, что многие оппозиционеры в 1930–1931 годах заявили о прекращении фракционной деятельности, ОГПУ, на всякий случай, за ними присматривало. В январе 1933 года Сталину донесли о существовании глубоко законспирированной организации во главе с И. Н. Смирновым, включавшей более 200 бывших активных троцкистов. Организация имела филиалы в Ленинграде, Харькове, Горьком, Киеве, Ростове-на-Дону и в других городах, группы в Госплане, Наркомтяжпроме и других учреждениях. Это было уже очень серьезно. И дело тут не в том, что обнаружили очередную троцкистскую группу, дело в личности ее руководителя.

Иван Никитич Смирнов был привычен к нелегальной работе. В партию он вступил в 1898 году, прошел через аресты и ссылки, участвовал в московском вооруженном восстании в декабре 1905 года. В 1917 году был в числе руководителей военной организации большевиков в Сибири. Во время Гражданской войны, будучи членом Реввоенсовета при Тухачевском, он обеспечивал «предварительное» взятие сибирских городов красными партизанами, причем обеспечивал так хорошо, что иногда город, как перезрелый плод, сам падал в руки Красной Армии. Его (а не Тухачевского) называли «победителем Колчака». Упорный и последовательный троцкист, он был в конфликте с большинством в партии еще со времен войны. (Так, в 1921 году Ленин был против избрания Смирнова в состав ЦК.) В 1923 году его из военного ведомства убрали, сделав наркомом почт и телеграфа. С самого начала И. Н. Смирнов входил в состав руководства троцкистской оппозиции, за что был отправлен в ссылку и «покаялся» в 1930 году. После восстановления в партии сразу же занялся созданием антисталинской группировки.