Год от года популярность Бабеля-писателя росла. Его часто приглашали на вечера, устраиваемые кремлевскими женами. В ту пору было модно иметь свой литературный салон. По Москве тогда ходили слухи о том, что у Бабеля сложились близкие, даже интимные отношения с женой Ежова, красавицей Евгенией Соломоновной. В ее доме часто собирались молодые и уже известные авторы. Завсегдатаи салона ценили Бабеля за любовь к жизни. Недаром Илья Эренбург сказал как-то о писателе: «Он был падок на жизнь». Связь с Евгенией Ежовой впоследствии сыграла роковую роль в жизни Бабеля.

Сам знаменитый писатель считал, что человек рождается для веселья и наслаждения жизнью. Он обожал смешные истории и ситуации. Исаак Эммануилович часто выдумывал всевозможные розыгрыши и при этом очень веселился. Однажды в воскресенье из комнаты Бабеля раздались невероятные душераздирающие стоны. На вопрос «Что случилось?» великий мистификатор самым серьезным тоном ответил: «Я хотел показать вам еврейские стоны». По воспоминаниям друзей, писатель был человеком высокой культуры и к тому же великолепным рассказчиком. Он говорил ровным голосом без акцента, никому никогда не подражал. Особенностью Бабеля-рассказчика было то, что иногда перед смешными местами он начинал хохотать, да так заразительно, что невозможно было не смеяться вместе с ним.

К сожалению, жизнь писателя с Евгенией Гронфайн сложилась неудачно. Красавица Евгения очень часто критиковала написанное мужем. В 1925 году она навсегда уехала в Париж. Супруги расстались из-за частых измен Бабеля. Сам же Исаак Эммануилович говорил о том, что жена уехала в Париж упражняться в художествах. После ее отъезда Бабель смог открыто сойтись с артисткой театра им. Мейерхольда Татьяной Кашириной. В июле 1926 года у них родился сын, которого счастливые родители назвали Эммануилом. Их роман оказался недолгим. Так и не узаконив отношения, Бабель покинул свою возлюбленную и уехал в Париж к Евгении Гронфайн, где у них родилась дочь Натали. За это время Каширина вышла замуж за Всеволода Иванова, который усыновил Эммануила и дал ему новое имя Михаил. Ивановы сделали все возможное, чтобы оградить Михаила от встречи с настоящим отцом. Из Парижа Исаак Бабель возвратился один. А в 1932 году встретил свою третью и последнюю любовь – Антонину Николаевну Пирожкову. Исаак Эммануилович стал ее первым и последним супругом. В 1937 году у них родилась дочь Лида. Антонина Николаевна всю жизнь оставалась верна своему мужу-писателю.

Смерть Горького стала одной из самых значительных потерь в жизни Бабеля. Вместе с ним ушло в небытие зыбкое равновесие между создателем «Конармии» и властями. Сразу же после того, как роковое известие дошло до писателя, он произнес фразу, предвосхитившую дальнейшие события: «Теперь мне жить не дадут». Исаак Эммануилович хорошо понимал, что смерть Горького была насильственной, но открыто говорить об этом не мог. В это же время к одесскому писателю был приставлен литературовед Эльсберг. Этот человек работал в издательстве «Академия», что позволяло ему постоянно опекать Бабеля и его семью. Спустя много лет, уже после XX съезда партии, на одном из писательских съездов Эльсберг был исключен из Союза писателей за информаторскую деятельность.

Хрущев в своих мемуарах вспоминал, что Сталин и Берия в конце 1930-х годов планировали арест жены Ежова. Предупрежденная мужем Евгения Соломоновна покончила с собой в больнице. 11 мая 1939 года комиссар госбезопасности Кобулов допрашивал арестованного Ежова о том, что представлял собой литературный салон его жены. Бывший железный нарком рассказывал о том, что особая дружба связывала его жену с Бабелем, который, как известно, все время вертелся в подозрительной троцкистской среде и, кроме того, был тесно связан с французскими писателями. А15 мая 1939 года был арестован и сам Бабель – на даче в Переделкино, в связи с тем, что дома писателя застать не смогли.