В октябре 1925 года, после завершения учебы, зачислен в ИНО ОГПУ и в том же году направлен резидентом внешней разведки в Шанхай.

С 1926 года под прикрытием консула СССР возглавлял резидентуры в Пекине, а с 1927 года – и в Харбине. Во время работы в Китае Эйтингону удалось добиться освобождения группы советских военных советников, захваченных китайскими националистами в Маньчжурии, сорвать попытку захвата советского консульства в Шанхае агентами Чан Кайши [72]. В 1928 году совместно с резидентом разведупра РККА в Шанхае X. Салнынем организовал устранение фактического диктатора пекинского правительства маршала Чжан Цзолиня [73].

Весной 1929 года, после разгрома китайской полицией советского консульства в Харбине, отозван в Москву и направлен в Турцию на должность легального резидента в Стамбуле под прикрытием атташе консульства СССР Леонида Александровича Наумова. Резидентура ОГПУ в Турции не работала против страны пребывания, а сосредоточила усилия на добывании информации в иностранных посольствах в Константинополе. Большое количество секретных документов добывалось в японском, французском и австрийском посольствах. С середины 1928 года в Стамбуле существовала нелегальная резидентура, работавшая по всему Ближневосточному региону. Во главе ее сначала был Яков Блюмкин, а после его ареста в 1929 году за связь со Львом Троцким – Георгий Агабеков. В задачу Эйтингона, в том числе, входила организация связи Агабекова с Центром. Помимо этого, в декабре 1929 года он по поручению ИНО принял агентуру в Греции после ареста там нелегального резидента ОГПУ.

В июне 1930 года Агабеков бежал на Запад. Опасаясь провала, Центр в срочном порядке отозвал Эйтингона в Москву. По возвращении в Центр Эйтингон, сделавший псевдоним «Леонид Александрович Наумов» своим именем, был назначен заместителем Якова Серебрянского – начальника Особой группы (ОГ) при Председателе ОГПУ («группа Яши»).

В период работы в ОГ Эйтингон несколько раз выезжал за рубеж, в том числе в Калифорнию, где руководил созданием там глубоко законспирированной нелегальной агентурной сети. Однако сработаться с «Яшей» Эйтингону не удалось, и в 1931 году он перешел на должность начальника 8-го отделения ИНО ОГПУ и в скором времени был командирован во Францию, а затем в Бельгию. По возвращении в Москву с марта 1933 года – начальник 1-го отделения (нелегальная разведка) ИНО, и во второй половине 1933 года вновь направлен за рубеж: для работы в нелегальных резидентурах в США.

В 1936 году, после начала Гражданской войны в Испании, Наумов-Эйтингон под именем Леонида Александровича Котова направлен в Мадрид в качестве заместителя Александра Орлова(«Шведа») – резидента НКВД и главного советника по безопасности при республиканском правительстве. В задачи «генерала Котова» входила подготовка испанских сил госбезопасности, руководство партизанскими операциями республиканцев в тылу противника. Он также участвовал в ликвидации руководителей испанской Рабочей партии марксистского единства (ПОУМ).

После побега на Запад «Шведа» в июле 1938 года «Котов» возглавил резидентуру. Центр поручил ему восстановить связь с одним из членов «Кембриджской пятерки» Гаем Берджесом(«Медхеном»).

После поражения республиканцев в 1939 году Эйтингон руководил эвакуацией советских специалистов и добровольцев из Испании в СССР, затем перебрался во Францию, где в течение нескольких месяцев реорганизовывал и восстанавливал остатки испанской агентурной сети НКВД. В Париже Эйтингон («Пьер») наладил работу с «Медхеном», который в марте 1939 года был передан на связь легальному резиденту НКВД в Лондоне А. В. Горскому. Во Франции «Пьеру» удалось привлечь к сотрудничеству с советской разведкой племянника главы испанской фаланги Примо де Риверы, который до 1942 года был важным источником информации о планах Франко и Гитлера.