Летом 1922 года его назначили заместителем председателя Верховного трибунала Туркестана, затем председателем Судебной коллегии. Летом 1923 года Абрама Слуцкого перевели в Москву сначала в органы военной юстиции столичного военного округа, потом почему-то назначили председателем ревизионной комиссии Госрыбсиндиката.
Из рыбной промышленности его перебросили в органы госбезопасности – заниматься экономическими преступлениями. В июле 1926 года его взяли в ОГПУ помощником начальника 6-го отделения экономического управления. Он проработал в этом управлении три года, постепенно поднимаясь по служебной лестнице.
1 января 1930 года Слуцкого неожиданно назначили помощником начальника иностранного отдела. Когда он освоился в новой сфере, в августе 1931 года получил повышение – стал заместителем Артузова. После ухода Артура Христиановича в военную разведку, 21 мая 1935 года, Слуцкий возглавил политическую разведку.
7 октября 1935 года было принято постановление ЦИК и СНК СССР об установлении специальных званий начальствующего состава Главного управления государственной безопасности НКВД. Офицеры госбезопасности ходили в гимнастерках защитного цвета и синих брюках. Петлицы были крапового цвета. На гимнастерку нашивался нарукавный знак красного цвета, на котором было вышито изображение серпа и молота, на них вертикально накладывался меч.
Слуцкий был включен в список руководящих работников НКВД, которым постановлением политбюро от 26 ноября 1935 года присвоили новые специальные звания. Список начинался наркомом – Генрих Ягода стал генеральным комиссаром госбезопасности. Слуцкий получил высокое звание комиссара госбезопасности 2-го ранга (в армейской иерархии оно приравнивалось к званию генерал-полковника).
В июле 1934 года ОГПУ преобразовали в Наркомат внутренних дел. Все оперативные отделы объединили в главное управление государственной безопасности НКВД. Ради конспирации отделы стали номерными. С 25 декабря 1936 года иностранный отдел именовался 7-м отделом ГУГБ НКВД.
На разведчиков Абрам Слуцкий производил впечатление разумного человека. Слуцкий сам поработал в Берлине, поэтому хорошо понимал проблемы резидентов. Умный и вежливый человек, он был способен выслушать и понять подчиненного. При нем штаты разведки составили уже двести десять человек.
Слуцкий руководил работой сотрудников НКВД, которые были отправлены в республиканскую Испанию.
19 августа 1937 года нарком внутренних дел Ежов отправил совершенно секретную записку Сталину:
«Наш диверсионный отряд численностью в двенадцать человек под руководством т. Орловского и его помощника тов. Ярошеня Степана Павловича, находясь в глубоком тылу противника, 13 июня сего года в пятнадцати километрах северо-восточнее города Ель-Реаль (провинция Севилья), после ряда удачных операций наткнулся на засаду силой в тридцать человек. Во время перестрелки геройски погиб наш работник тов. Ярошеня Степан Павлович.
Тов. Ярошеня был одним из руководителей организации взрывов поездов на железнодорожных линиях Севилья-Бадахос и Севилья-Касадья.
Семья тов. Ярошеня состоит из жены Надежды Ивановны и двух детей – одиннадцати и шести лет, проживающих в деревне Красная Слобода – БССР.
Ходатайствую о награждении т. Ярошения Степана Павловича орденом Красного Знамени, о выдаче семьи т. Ярошения, согласно существующих положений, единовременного пособия в размере двадцати пяти тысяч рублей и о назначении семье т. Ярошеня, как семье командира, погибшего в Испании, персональной пожизненной пенсии в размере пятисот рублей в месяц».