Однако у Джеймса с Перейрами возникало все больше разногласий. Первые признаки раскола проявились в 1849 г., когда Перейры захотели собрать деньги на собственный проект дороги Париж – Лион – Авиньон, не обращаясь к Ротшильдам. В 1852 г. отношения еще больше ухудшились, хотя нелегко точно сказать, когда произошла решающая ссора. Важный шаг к разрыву был сделан, когда Джеймс решил войти в состав синдиката, финансировавшего строительство линии Париж – Лион; Джеймс купил около 12 % акций новой линии (в число других акционеров входили Бартолони, Хоттингер и Бэринг, и, хотя его нет в списках концессионеров, ведущую роль играл Талабо). Такое решение означало недвусмысленный отказ от конкурирующего проекта, который предложили Перейры. Многое становится понятным из серии писем, в которых Джеймс объясняет племянникам, почему он так поступил: «Что касается Лиона, было бы очень пагубно для «Компани дю нор», если бы мы остались в стороне и линией занялись две другие компании, поэтому я сказал Хоттингеру, что мы возьмем такой же пакет акций, как и другие банкирские дома, а если Бэринг намерен объявить подписку в Лондоне, ее следует проводить совместно с вами. Короче говоря, я не хочу, чтобы при новом правительстве затевалась крупная операция без нашего участия… Если такая операция увенчается успехом без нас, люди скажут: «Ротшильды нам больше не нужны». Так как мы можем взять столько, сколько хотим, лучше оставаться частью этого товарищества… Господа, которых это касается, весьма популярны у министров».

Сделанное вскользь замечание, в котором Джеймс обзывает одного из братьев Перейра «ослом», намекает на то, что их отношения с Джеймсом стремительно ухудшались.

И все же их партнерство продолжалось. Более того, Исааку Перейра поручили действовать в качестве представителя Джеймса в новом правлении компании «Париж – Лион», а его брат Эмиль продолжал играть ведущую роль, оставаясь председателем совета директоров Северной железной дороги. Он участвовал в повторных переговорах относительно концессии на строительство Северной железной дороги – условия еще одной крупной железнодорожной операции были оговорены в январе 1852 г. Компания собрала 40 млн франков, выпустив облигации на предъявителя, а на вырученные деньги приобрела контрольный пакет линии Булонь – Амьен и направила их на строительство новых веток (например, в Мобёж). В свою очередь, концессию продлили на 99 лет с возможностью для государства выкупить компанию в 1876 г. Раскол случился лишь ближе к концу года, когда Джеймс снова предложил свою поддержку Талабо.

Новой целью Талабо стало слияние новой железнодорожной линии Париж – Лион с южными ветками: Авиньон – Марсель, Марсель— Тулон и более мелкими ветками, ведущими в Гар и Эро. Планировалось создание крупной Средиземноморской компании примерно на тех условиях, которые первоначально задумали Перейры. Джеймс решил приобрести 2 тысячи акций в этом амбициозном, но в финансовом смысле сомнительном проекте, не привлекая Перейров. То, что в числе акционеров был и Морни, заставляет усомниться в упрощенном толковании произошедшего – якобы Перейры, в отличие от Ротшильдов, пользовались поддержкой нового режима. Последний удар был нанесен, когда Джеймс отказался предоставить такую же финансовую поддержку Южной компании братьев Перейра: хотя он и подписался на 3,3 млн франков и потому нельзя сказать, что он полностью пренебрег нуждами компании, Альфонсу выразили вотум недоверия, и он вынужден был подать в отставку. Следовательно, Перейры основали «Креди мобилье» в ответ на то, что их самих исключили из того, что представлялось им новой компанией Талабо и Ротшильда, которую поддерживал существующий строй в лице Морни.