В 1953 году, когда Пырьев задумал снимать новую картину «Испытание верности» (девятую по счету с Ладыниной), внезапно вышел приказ председателя Госкино о том, что режиссерам запрещено снимать своих жен. А у Пырьева на главную роль претендовала, естественно, все та же Ладынина. Однако режиссер собрал фотопробы других актрис на главную роль, принес их в Госкино и спросил: «Что, эти актрисы выглядят лучше Ладыниной?» И свою жену он все-таки отстоял. Фильм «Испытание верности» вышел в прокат в 1954 году и занял 3-е место, собрав на своих просмотрах 31,9 млн. зрителей. А затем «звездная» пара Пырьев – Ладынина внезапно распалась. Почему? Судя по всему, виной этого был сам Пырьев. В начале 50-х, например, у него был громкий роман с молодой ленинградской актрисой. Об этом романе знали все, так как Пырьев, практически не таясь, посещал свою возлюбленную в одном из номеров гостиницы «Москва».

Между тем разводов, подобных тому, что пережили Ладынина и Пырьев, в артистической среде и до этого и после происходило немало, однако ни один из них не ставил крест на творческой карьере одного из потерпевших. Но с Ладыниной случилось именно так. С 1954 года она больше не снялась ни в одной картине. Она ушла в Театр-студию киноактера, играла там в нескольких спектаклях, а попутно с этим участвовала в многочисленных выездных концертах, на которых обычно рассказывала зрителям о своих «звездных» ролях и читала стихи. А что же Пырьев?

В конце 50-х годов он продолжает активную творческую и общественную деятельность. В 1956 году вступает в ряды КПСС, через год возглавляет оргкомитет Союза российских кинематографистов. В том же году приступает к тому, о чем мечтал все эти годы, – работает над экранизацией классики. Объектом его внимания становится роман Ф. Достоевского «Идиот». Одноименный фильм выходит на экраны страны в 1958 году и занимает в прокате 12-е место (31 млн. зрителей). С точки зрения кассы – не самый удачный проект для такого режиссера, как Пырьев. Однако сам режиссер так не считает и через год экранизирует еще одно произведение великого писателя – «Белые ночи». Затем он снимает два фильма на современные темы: «Наш общий друг» (1962, 15-е место в прокате – 22,4 млн. зрителей) и «Свет далекой звезды» (1965, 6-е место – 60 млн.). В последней картине в главной роли снялась молодая жена Пырьева Лионелла Скирда-Пырьева.

В год выхода картины на экран произошел скандал, виновником которого оказался Пырьев. На съемках в Горьком режиссер не сдержался и, поднеся к губам мегафон, выругался матом. Тут же кто-то из присутствующих зрителей накатал на режиссера «телегу» и отправил в Москву. Этот донос сильно развязал руки тем кинематографистам, кто давно уже имел зуб на мэтра. В «Известиях» появился фельетон, посвященный Пырьеву. В результате режиссера исключают из партии (потом, правда, восстановят) и снимают с поста председателя оргкомитета Союза российских кинематографистов.

Будучи в опале, Пырьев приступает к работе над фильмом «Братья Карамазовы». Однако довести работу до конца ему не было суждено. Ранним утром 7 февраля 1968 года режиссер скончался. Медицинское вскрытие показало, что у 67-летнего Пырьева было множество рубцов на сердечной мышце, следов инфарктов, перенесенных на ногах.

Фильм «Братья Карамазовы» досняли Михаил Ульянов и Кирилл Лавров. По опросу журнала «Советский экран», он был назван одним из лучших. В том же году И. Пырьеву на Московском международном кинофестивале был присужден специальный приз жюри за выдающийся вклад в киноискусство.