В летописях он впервые упоминается в 1539 году. Крымский хан Сафа-Гирей стал под Муромом, и Иван Шереметев, прирожденный воевода, возглавил сражавшееся с ним войско.

Много лет посвятил он сражениям. Даже падение Шуйских не стало препятствием его военной карьере – Иван IV, оценив военное мастерство Шереметева, много раз назначал его воеводой в различные полки.

А в августе 1552 года царь Иван Грозный решил предпринять поход на Казанское ханство. Это была уже третья попытка взятия Казани – предыдущие две не увенчались успехом. И вот уже в третий раз царь стоял под неприступными стенами Казани. Главнокомандующим был князь Александр Горбатый, а во главе гвардии стояли князь Воротынский и боярин Шереметев.

Войска целый месяц осаждали Казань. Город казался неприступным – окруженный стенами шириной девять и высотой восемь метров, он мог долго выдерживать осаду. Но Казань была взята – перед воротами построили пятнадцатиметровую осадную башню, а под стенами был сделан подкоп и заложен порох. Царский полк, возглавляемый Воротынским и Шереметевым, до этого стоявший в резерве, ворвался в город. Над Казанью поднялись русские флаги.

Следующие три года Иван Шереметев провел, практически не покидая седла. Воевал и на востоке, и на западе, командуя передовым царским полком. Прирожденный полководец, он участвовал во множестве битв. Слава его была такова, что одно его имя наводило ужас на противника. Враги боялись его настолько, что, даже имея численное преимущество, предпочитали отступить.

В 1555 году, участвуя в походе на Крым, Шереметев стоял во главе отряда всего в девять тысяч человек, когда узнал, что к Туле движется шестидесятитысячное войско крымского хана Девлет-Гирея.

Девлет-Гирей уже через Северный Донец переправился! – говорил запыхавшийся гонец русскому воеводе. – Не иначе, как решил со своей ордой на рязанские и тульские места напасть. С ними турки, говорят, и пушки у них есть! Возьмут они Тулу!

Не бывать тому, – подумав, спокойно ответил боярин. – Мы нынче же вернемся да прогоним их туда, откуда явились!

Русские отряды двинулись через Дикое Поле наперерез Девлет-Гирею. Встретились они у села Судбищи, в 150 километрах от Тулы. Решительно кинувшись в бой, русское войско обратило в бегство всю шестидесятитысячную орду. Узнав, что во главе отряда стоит ни кто иной, как сам Шереметев, Девлет-Гирей предпочел скомандовать отступление.

Но уже через несколько лет обычная удача изменила воеводе. Царь, которому он всегда был верен, за которого не раз шел в бой, стал подозревать его в измене. Последовала опала, а затем – достаточно было нескольких пущенных завистниками слухов – Шереметев оказался в темнице.

Стремясь добиться ответа, о чем сговаривался Шереметев с крымским ханом, Иван Грозный велел пытать своего полководца. Пытку царь выдумал сам. Шереметеву сковали цепями шею, руки и ноги, на поясницу надели железный обруч, на который повесили десять пудов железа. На полу были врыты стальные колья. Под тяжестью груза около двухсот кило стали Шереметев не мог даже приподняться и вынужден был лежать на кольях.

Так ты предать меня, своего царя, вздумал! Клялся верно служить, а сам готовился трон мой занять! С крымским ханом сговорился! – обвинял его государь.

Долго тянулись дни в маленькой темной камере. Но хуже страданий телесных были мысли о клевете. Ведь не предатель он, не замышлял против царя худого!

В опалу попал и младший брат Ивана Шереметева, Никита. Подозревая, что братья были в сговоре, Иван Грозный, выйдя из темницы старшего Шереметева, приказал казнить его брата. Не спасло его от расправы ни участие в войнах, ни верная служба, ни высокая должность окольничего – второго после боярина думского чина Боярской думы. В тот же день на глазах у царя Никиту Шереметева разрубили на куски.