Позиция под Андреевкой (Усвятьем) не устроила Багратиона. Предложенная уже им самим позиция под Дорогобужем «не глянулась» Барклаю. Она была растянута по фронту, и перед ней оказывались незанятыми высоты, на которых противник мог поставить батареи. В тылу были поля с рытвинами, что затрудняло действия кавалерии. К тому же основные силы Багратиона стояли в восьми верстах от поля сражения. Барклай решил отступать далее. Его армия прошла присмотренные позиции не только при деревне Андреевке и под Дорогобужем, но и при деревне Умолье, под Вязьмой и возле села Федоровка. Барклай надеялся на более выгодную – у Царева Займища, но вышло не так, как он хотел.

После сдачи Смоленска положение Барклая-де-Толли, который так и не дал Наполеону уничтожить русскую армию, но свой авторитет в армейской среде утратил окончательно, стало критическим. Его замысел заманить грозного врага за можай остался непонятым большинством современников. Психологически ни русское общество, ни тем более армия не были готовы к отступлению, воспринимавшемуся тем болезненнее, что ни Аустерлиц, ни Фридланд не были забыты. Эмоции захлестывали разум. Казачий атаман Платов после сдачи Смоленска явился к Барклаю в простом плаще, заявив, что никогда больше не наденет русского мундира, «так как это стало позорным». А несдержанный Багратион написал императору, что Барклай «ведет гостя прямо в Москву»! И действительно, до Москвы оставалось только 200 верст, на которых не было ни одного крупного опорного пункта. Стратегия военного министра оказалась понятной единицам, да те предпочитали помалкивать, уступая общим настроениям. Настроения армии того времени позднее ярко отобразил великий русский поэт Лермонтов, передав их словами ветерана:

Недовольство в русской армии росло не по дням, а по часам. Все чаще говорили об умышленном отступлении и об измене Барклая: простые солдаты по-своему относились к командующему, они называли его «болтай, да и только». Как-то подъехав к солдатскому бивуаку, на дежурный вопрос: «Хороша ли каша?» Барклай получил дерзкий ответ: «Хороша, да не за что нас кормят». Дальше – больше: проезжая мимо одного из полков, он услышал себе вдогонку солдатское: «Смотрите! Смотрите! Вот едет изменщик!», затем последовала нецензурная брань. Среди генералитета все громче звучали голоса, требовавшие немедленной смены командующего. Ходили слухи, что якобы начальник артиллерии генерал А. И. Кутайсов от имени ряда энергично настроенных военачальников решился просить Барклая прекратить отступать. Барклай хладнокровно парировал дерзость низшего по чину и должности: «Пусть всякий делает свое дело, а я сделаю свое!» Великий князь Константин Павлович на пару с Беннигсеном интриговал против Барклая, открыто обвиняя его в измене. «Не русская кровь течет в том, кто нами командует. А мы, и больно, должны слушать его», – восклицал он якобы перед толпой жителей Смоленска, когда армия покидала город. В сопровождении Беннигсена, Римского-Корсакова, Армфельда, принца Александра Вюртембергского, Тучкова 1-го и Ермолова цесаревич как командир гвардейского корпуса 1-й армии неожиданно пришел к Барклаю и грубо заорал, что у «немца, изменника и подлеца, продающего Россию, больше под командой он состоять не будет и со всеми своими гвардейцами переходит под начало Багратиона». Последовала нецензурная брань, и присутствовавшие пожалели, что оказались ее свидетелями. Сам Барклай все молча выслушал и через два часа после происшествия предписал великому князю, своему подчиненному, немедленно сдать корпус и отправиться со срочным пакетом в Петербург к императору. Константину Павловичу, который совсем недавно похвалялся перед своей свитой, как он «ловко “немца” отделал», пришлось отбыть на рандеву к Александру I.