Не достигнувши своей цели через наместника и владыку митрополита, они стали писать частые письма непосредственному начальнику о. Алексия, экклесиарху Лавры архимандриту Валентину, выливая на о. Алексия в своих письмах всякую грязь. Архимандрит Валентин не любил о. Алексия, и поэтому письма злых женщин нашли для себя благоприятную почву. Под влиянием этих писем архимандрит Валентин потребовал в Духовном Соборе Лавры, чтобы о. Алексий был лишен должности ризничего Великой церкви. Старцы соборные не стали спорить с экклесиархом, и 21 сентября 1887 года о. Алексий был уволен от должности ризничего Великой церкви, но сестры Степановы не оставили о. Алексия и после этого. Они теперь стали лично преследовать о. Алексия. Идет ли о. Алексий по Лаврскому двору – они догоняют его и начинают называть его вором, обидчиком бедных беззащитных женщин; появляется ли о. Алексий в храме для исповеди богомольцев – сестры и здесь производят шум, крича на весь храм: не подходите, православные, исповедоваться к этому монаху; он такой-то и такой, при этом они называли о. Алексия разными нехорошими именами; совершает ли он богослужение в храме – они и здесь дерзают нарушать молитвенную тишину своим криком в адрес о. Алексия… Отец Алексий с терпением переносил попущенное для него Богом искушение. Но Лаврское начальство, видя, какой соблазн производили дерзкие женщины вокруг о. Алексия, решило избавить его от этого испытания, а поэтому 30 апреля 1891 года Духовным Собором о. Алексий был переведен из Лавры на очередное богослужение в лаврскую Спасо-Преображенскую пустынь. Как ни тяжело было о. Алексию переносить оскорбления от сестер Степановых, но когда он узнал, что из Лавры его переводят в Спасо-Преображенскую пустынь, для него это оказалось еще тяжелее. Проведя в Лавре 38 лет, о. Алексий к ней привык – Лавра сделалась для него вторым отеческим домом. Дорога́ для него была Великая, «небес подобная» церковь; не хотелось ему расставаться с громогласным лаврским пением и гармоничным колокольным звоном на большой лаврской колокольне; жаль ему было и пещер со святыми мощами преподобных… Но всего обиднее для о. Алексия было то, что его отправляли в ссылку безо всякой со стороны его вины…

Грустный, унылый шел о. Алексий по лаврскому двору после того, как получил весть о своем переводе. Вдруг навстречу ему идет блаженный старец Паисий и ласково говорит: «Чего грустишь, душечко?.. Вспомни Христа Спасителя… Как Его безжалостно били, как заушали, плевали в Него. И не Он ли претерпел позорную крестную смерть? А всё ради кого? Ради нас, душечко…» Отцу Алексию стало легче после такого наставления. «Значит, такова воля Божия», – подумал он и, уже спокойный, стал собираться к переезду в Преображенскую пустынь.

В Преображенской пустыни о. Алексий прожил четыре с половиной года. Здесь ему жилось спокойно. Сестры Степановы сюда не являлись. Вспоминая в конце жизни о проведенном в Преображенской пустыни времени, о. Алексий говорил: «Это было самое лучшее время в моей жизни. Я там всегда помнил о смерти». Отцу Алексию напоминали о смерти находящееся в Преображенской пустыни братское кладбище и часто погребаемые там умершие. 15 ноября 1895 года постановлением Духовного Собора Лавры о. Алексий из Преображенской пустыни переведен в Голосеевскую пустынь на должность ризничего. В этой должности, будучи вместе с тем духовником – старцем лаврской братии и приходящих богомольцев, преподобный Алексий и окончил свои дни.

В Голосеевской пустыни преподобный Алексий прожил 21 год 3 месяца и 24 дня. Главными его обязанностями здесь были очередное богослужение, наблюдение за ризницей и духовничество. Духовничество и наблюдение за ризницей о. Алексий не оставил до конца своих дней, а от очередного богослужения он освободился ввиду болезненного состояния всего за год до смерти. Первые годы пребывания в Голосеевской пустыни о. Алексий проводил обычно, как и все прочие иеромонахи: совершал богослужения, смотрел за порядком в церкви и исповедовал приходящий народ. Одним разве он отличался от других – это воодушевленным чтением поучений после запричастного стиха. Но с течением времени мудрыми советами, вовремя сделанными предупреждениями он стал обращать на себя внимание православных людей: сначала прилегающих к пустыни селений, затем Киева и, наконец, всей необъятной России. О преподобном Алексии знали и в Петрограде, и в Москве, и на Кавказе, и в Сибири, и на Дону. Он был известен и в городах, и в селах, и в монастырях. Такую широкую известность о. Алексия нетрудно объяснить: посещавшие во множестве Киево-Печерскую Лавру богомольцы знакомились здесь с о. Алексием и, обласканные, успокоенные им, разносили весть о нем по всем уголкам нашего обширного отечества. В последние годы жизни преподобного Алексия у дверей его кельи ежедневно можно было видеть несколько посетителей, приходивших к нему за советами, за облегчением своего горя, с просьбами за живых и умерших. Ничто не удерживало посетителей о. Алексия: ни холод, ни жар, ни дождь, ни снег; к преподобному Алексию шли и летом, и зимой, и ранней весной, и поздней осенью, но более всего старец был обременяем посетителями летом, когда ничто не препятствовало путешествию в Голосеевскую пустынь.