Несмотря на большую занятость, Джеймс находил время и для того, чтобы собирать в Ферьере непревзойденную коллекцию пернатой дичи, а также флиртовать с графиней Валевской, женой министра. Не следует думать, что долгие периоды, какие он проводил каждый год на курортах, служили признаком ухудшения здоровья: именно на водах он казался «более юным, более резвым, чем когда бы то ни было», «обедал за общим столом и беседовал со всеми дамами, особенно с молодыми и хорошенькими». В 1866 г., когда некоторые французские журналисты принялись раздувать слух о том, что он ослеп, Джеймс «разгневался и хотел как можно скорее решительно возразить всем этим писакам, которые сокрушались о его якобы слепоте. Поэтому он нарочно ездил с сыновьями по театрам, без конца смотрел на актрис, а также на хорошеньких зрительниц в партере и в ложах, а под конец дня играл в вист, выигрывал в клубах и отдавал должное куропаткам, фазанам и оленине, добытой благодаря его не знавшему промаха ружью».

В высшей степени самоуверенный, к старости Джеймс стал немного безрассудным. Он часто позволял себе отпускать колкости, которые в прошлом старался подавлять. Некоторые его шутки вошли в биржевой фольклор: «На бирже наступает время, когда, если хочешь добиться успеха, ты должен говорить на иврите»; «Вы спрашиваете, знаю ли я, что заставляет биржу подниматься и падать? Если бы я это знал, я был бы богачом!» Когда один молодой брокер спросил его, повлияет ли на цену рентных бумаг, если установить при входе на биржу турникет и брать плату за вход, Джеймс тут же ответил: «Я считаю, что это будет стоить мне двадцать су в день». Но его самые знаменитые шутки – вроде шутки с «mémoire» в Ферьере – тонко высмеивали императора. Например, «L’Empire, c’est la baisse», буквально: «Империя – это падение (падающий рынок)», это каламбур на знаменитые слова Наполеона: «Империя – это мир», ставший убийственной эпитафией режиму Наполеона.

Поэтому не приходится удивляться, что современники часто вспоминали старую шутку: Джеймс и его семья – вот истинные правители Франции. Братья Гонкур, которые славились своей язвительностью, в дневниках довольно злобно изобразили сборище 74 Ротшильдов на свадьбе Гюстава: «Я представляю их в один из тех дней, которые Рембрандт придумал для синагог и таинственных храмов, освещенных солнцем… Я вижу… мужские головы, зеленые от блеска миллионов, белые и скучные, как бумага, на которой печатают банкноты. Пир в банковской пещере… Короли парий мира, сегодня они всего жаждут и всем управляют: газетами, искусствами, писателями и тронами, распоряжаются музыкальными залами и миром во всем мире, управляют государствами и империями, выдают ссуду железным дорогам, как ростовщик управляет молодым человеком, губя его мечты… Так они правят всеми сферами человеческой жизни, включая саму Оперу… Это не Вавилонское пленение, но пленение Иерусалимское».

Гонкурам Джеймс казался «чудовищной фигурой… приземистой, с уродливым жабьим лицом, с налитыми кровью глазами, с веками, похожими на раковины, слюнявым ртом, похожим на кошель… Перед нами своего рода золотой сатир». Но на тех, кто, как Фейдо, видел Джеймса «в его природной стихии» – в его конторе, – не могла не производить впечатления излучаемая им сила: «Он обладал несравненной и драгоценной способностью концентрировать мысли, отрешаться от всего даже посреди самой адской шумихи. Часто, когда близилось завершение важной операции, он закрывал дверь и никого не принимал; часто он также без труда одновременно занимался самой важной и самой пустяковой операциями, поручив кому-нибудь из сыновей, обычно самому старшему, принимать в главном кабинете клерков с биржи, пока он, притулившись в углу той же комнаты с каким-нибудь министром или послом, радостно обсуждал условия операции на сотни миллионов… Иногда он прерывался посреди обсуждения условий займа, который должен был принести ему несколько дюжин миллионов, чтобы добиться у какого-нибудь незадачливого придворного, который не мог не согласиться, уступки франков на пятьдесят в какой-нибудь жалкой маленькой сделке… Этот финансовый гений обладал устрашающей способностью видеть все и делать все лично… Этот титан… сам читал все письма, распечатывал все депеши, а по вечерам находил время исполнять светские обязанности, несмотря на то что занимался делами с пяти утра. А видели бы вы, как его огромный банк работал – как часы! Какой чудесный порядок повсюду! Какие послушные служащие!..»