Но старец стоял на своем, и владыке Досифею не оставалось ничего иного, как согласиться. Общим решением новым настоятелем был избран иеромонах Леонид (Наголкин), который был хорошо известен отцу Василию. Самому же старцу был назначен для пребывания Свенский монастырь. «Усмотрев в Бело-Бережской пустыни добрый порядок во всем и довольное устроение по хозяйственной части, всё это относим к благоразумному и опытному попечению бывшего настоятеля старца иеромонаха Василия, коему за такие подвиги объявляем нашу благодарность, вверяя ему вместе с сотрудником иеродиаконом Анастасием таковое же заведение, какое будет возможно и какое Бог поможет завести в Свенском монастыре. Для этого дозволяется им, сколько будет потребно иметь пребывание в том монастыре. Нынешнему же Бело-Бережскому строителю предписываем хранить во всем заведенный прежним строителем порядок в церковном служении, нимало не упущая и не прибавляя ничего», – было сказано в приказе епископа Орловского и Севского Досифея, изданном 30 мая 1805 года.

Свенский Успенский монастырь размещался недалеко от Белых Берегов, непосредственно примыкая к границам города Брянска. И, видимо, прежняя обитель осталась в сердце отца Василия, потому что он нередко уходил в Белобережскую пустынь, вернее, в уединенную келийку, стоявшую на вершине покрытого сосновым лесом холма. Днем он неустанно трудился – возделывал огород рядом с келийкой, рубил дрова, делал деревянные ложки, миски и ларцы, шил одежду и обувь, плотничал, – а ночами ходил по лесу и со слезами молился. Если не было слез, отец Василий бил самого себя. А если какой-нибудь прохожий давал ему деньги или одежду, он немедленно отдавал это в монастырь. Сам же был крайне воздержан в пище – ел сухой хлеб, размачивая его в воде, сырые грибы и коренья…

Увы, без руководства Василия в Белобережской пустыни вновь начались неурядицы. После ухода с должности настоятеля отца Леонида (Наголкина) по рекомендации старца настоятелем был назначен его давний недоброжелатель отец Мелхиседек (Сокольников), который позволял себе по отношению к старцу самые дикие выходки – дважды избивал его, плевал ему в лицо… Отец Василий, по своему крайнему смирению, не только никому об этом не говорил, но просил у своего обидчика прощения, надеясь унять разгул его гордыни. Но Мелхиседек так и не исправился. Вскоре после того как по настоятельной просьбе возмущенной им братии его отрешили от начальничества в обители, в июле 1809-го, отец Василий решил было отправиться на Афон и даже попрощался с окрестным людом, но, прибыв в Одессу, узнал, что из-за войны с Турцией за границу никого не выпускают. Пришлось вернуться обратно в Свенский монастырь. Но ненадолго – летом следующего, 1810 года отец Василий отправился на Дон. Причиной была просьба донского атамана Матвея Ивановича Платова о возрождении Свято-Вознесенского Кременского монастыря. Свой голос к просьбе присоединил и епископ Воронежский Антоний (Соколов), к чьей епархии принадлежали земли Войска Донского. Владыка Досифей отнесся к просьбе с пониманием и уволил отца Василия в отпуск по монастырской надобности на два месяца, потом этот срок не раз продлевался.

В путь отправились втроем – отец Василий и его ученики, Анатолий и Андрей. По дороге по просьбе владыки Досифея посетили Троицкие женские монастыри в Севске и Курске. В обеих обителях старца приняли, мягко говоря, неласково. В Курске игумения даже начала поносить его последними словами, называя безбожником и бродягой. Но отец Василий, кланяясь до земли и целуя руки игумении, ответил так: