Ученость святого Авраамия была связана с даром учительства, который сделался источником жестоких гонений на него и его «терпения», главного подвига его жизни. Монашеская келья Авраамия стала притягательным центром для Смоленска. Многие миряне приходили к нему из города ради «утешения из святых книг».

«Иереи и черноризцы» восстали против святого именно в связи с его книжным учением. После богословских диспутов с городским духовенством сам игумен, доселе покровительствовавший святому, запрещает ему: «Аз за тя отвечаю у Бога, ты же престани уча». Святой, принявший от него «много озлоблениа», оставляет свой монастырь и переселяется в Смоленск. Здесь, в Крестовоздвиженском монастыре, он продолжает свою учительскую деятельность. Многочисленные его почитатели снабжают его средствами для помощи бедным и для украшения храма. Но врагам Авраамия удалось возбудить против него чуть ли не весь город; опасность угрожала самой его жизни: «Собраша же ся вси от мала и до велика весь град нань, инии глаголют заточити, а инии к стене ту пригвоздите и зажещи, а друзии потопити и, проведше всквози град…» В описании горестных событий, быть может, чувствуется перо очевидца: «Посланые же слуги, емше, яко злодея влачаху, они ругахуся ему, инии же насмехахуся ему и бесчинная словеса кидающе, и весь град и по торгу, и по улицам – везде толпа народа, и мужи же, глаголю, и жены, и дети, и бе позор тяжек видети». На владычном дворе собрались для суда не только епископ (Игнатий) с духовенством, но и князь с боярами. Однако миряне признали Авраамия невинным, и епископ, оставив его под стражей вместе с двумя учениками, на следующий день собирает чисто духовный суд («игумени и ереи»). Ефрем не приводит приговора этого суда и хочет подчеркнуть благополучный исход его: «Не приемшу ему никоего зла». Однако Авраамий отослан в свой первоначальный монастырь, на Селище, и из дальнейшего видно, что ему было запрещено совершать литургию. Два праведника предсказывают епископу гнев Божий на град Смоленск за гонение на святого: «Великой есть быти опитемьи граду сему, аще ся добре не опечалиши» (не покаешься). Уже тогда епископ Игнатий «скоро посла по всем игуменом и к всем попом, заповедая и запрещая всем от всякого речения зла престати, яже на блаженного Авраамия». Однако преподобный продолжает оставаться под запрещением. Обещанная «епитимия» приходит в виде страшной засухи. Молитвы епископа и всего народа остаются неуслышанными. Тогда по совету третьего, не названного по имени иерея Игнатий призывает св. Авраамия, снова расследует обвинения против него «и испытав, яко все лжа», прощает его и просит молиться о страждущем граде. Бог услышал молитву святого: «Еще преподобному не дошедшу своея келия, одожди Бог на землю дождь», и с этого времени возобновилось почитание Авраамия и стечение к нему народа.

Последние годы святого прошли мирно на игуменстве в новом, третьем по счету, монастыре его. Епископ Игнатий хотел построить монастырь во имя своего святого и уже поставил церковь за городом на месте скупленных им огородов, но потом почему-то ее разрушил и перенес на новое место, освятив во имя Пресвятой Богородицы, «положения честныя ризы и пояса». Этот монастырек, где питалось несколько старцев щедротами епископа, не пользовался, по-видимому, особым уважением. Охотников идти в игумены не было. «По мнозе же времени» Игнатий вызывает с Селища Авраамия и дает ему благословение: дом Богородицы. Авраамий с радостью принимает игуменство, продолжая «пребывать в первом подвизе» учительства и духовничества для сограждан. Пользуясь общей любовью, преподобный пережил своего епископа и преставился от болезни после пятидесяти лет подвижничества».