Магдебургское право позволило оживить жизнь в городе. В середине XVII века в Витебске было около 10 000 жителей, работали мануфактуры – металлообрабатывающие, гончарные, кожевенные, медоварные, воскобойные мастерские, гостиный двор, красовался дворец магнатов Огинских. Витебск – снова крупный торговый и ремесленный центр. Ненадолго – началась очередная русско-польская война 1564–1667 годов.

В августе 1654 года Витебск окружило 20-тысячное войско московского воеводы В. Шереметева и казаки В. Золотаренко. В городе «сели в осаду» 10 000 человек, делавших частые вылазки. 27 августа В. Шереметев получил царский приказ: «Под Витебском промышлять подкопом и зажогом и сговором и разными военными промыслами, а приступать не велено, для того, чтоб в служилых людях потери не учинить».

Осада продолжалась 3 месяца. Между московскими и витебскими шли переговоры. К городу привезли пушку «Скворец» с приказом жечь Витебск. В сентябре московские полки штурмовали Витебск, но неудачно.

В октябре в замке кончился порох, начался голод. 22 ноября 1654 года Витебск был взят штурмом и до 1667 года был занят московскими войсками. В период с 1654 по 1667 год замки Витебска были восстановлены в каменном виде, в город привезли много пушек и боеприпасов.

В Оружейной, Золотой, Серебряной палатах Московского Кремля по приглашению царя Алексея Михайловича работали много мастеров-белорусов, среди которых было 44 витебчанина – оружейники, серебряники, резчики по дереву и кости.

В 1664 году по приказу Алексея Михайловича был составлен «Чертеж города Витебска», сохранившийся до наших дней средневековый облик города.

В мае 1667 года по Андрусовскому перемирию Витебск был возвращен Речи Посполитой. Король Ян Казимир освободил город от налогов на 4 года и «амнистировал» горожан за 13 лет жизни в «московском» Витебске.

С 1700 по 1708 год во время Северной войны через Витебск неоднократно проходили русские, шведские и польские войска. Грабили и разоряли город все, брали деньги, фураж, продовольствие.

В 1701 году в Витебске располагался штаб Петра I, бывшего в городе также в 1705 и 1708 годах. «Летопись города Витебска» пишет про 1701 год: «19 февраля 1701 года царь Петр Алексеевич выехал в Витебск с небольшой силой, но стройно; остановился у бурмистра Зафатая. Дал возможность видеть себя почти всему народу; на третий день выехал из Витебска в Биржу». Петр I останавливался в Копыси, Орше, Дубровно. В 1708 году в Бешенковичах располагалась его главная квартира.

Осенью 1708 года в Витебск с доносом на гетмана Ивана Мазепу приезжали Кочубей и Искра. Тогда же Петру I донесли, что жители Витебска помогали польскому королю Станиславу Лещинскому, ставленнику шведов. Горячий московский властелин приказал своим войскам сжечь город, что и было сделано в сентябре 1708 года.

Были уничтожены замки, ратуша, весь город, все посады, 12 церквей и 4 костела. Город пришел в упадок и был восстановлен только к середине XVIII века. Восстановлению мешали пожары 1752 и 1757 годов. Укрепления Витебска после этого уже не восстанавливались.

Сам Витебск, несмотря на пожары и эпидемии, возродился и стал вторым по величине после Могилева белорусским городом. В городе проживало около 6000 жителей, было 40 каменных зданий, из них 7 костелов и 16 униатских церквей.

По первому разделу Польши 1722 года Витебск вошел в состав Российской империи, сначала как уездный город Псковской губернии, с 1776 года – Полоцкой губернии, с 1796 года – центр Белорусской губернии, с 1802 года – центр Витебской губернии. В городе проживало более 10 000 человек. На красивом берегу Западной Двины был построен дворе губернатора. В Витебске работало несколько училищ, включая реальное, в 1808 году преобразованное в мужскую гимназию, одну из первых в Беларуси и первое в Беларуси светское женское училище.