Весной 1834 года был назначен исполняющим должность астраханского военного губернатора и управляющим гражданской частью, в 1835 году утверждён в должности. При нём, 12 декабря 1837 года был открыт в Астрахани «губернский музеум», ещё ранее, 3 июля 1837 года, начали издаваться «Астраханские губернские ведомости»; 19 июня 1838 года состоялось открытие публичной библиотеки. Немало усилий было потрачено на охрану рыбных промыслов, для чего Тимирязев выделил 9 военных судов. Поддержка Тимирязевым торговли с Персией была отмечена в августе 1841 года персидским орденом Льва и Солнца 1-й степени. Для поддержки крестьян были учреждены вспомогательные ссуды для мелкого кредита, расширена сеть запасных магазинов на случай неурожаев. Принимались меры по созданию в деревне медицинских и ветеринарных пунктов, увеличению сети низших школ, пунктов по пропаганде агрономических знаний, а так же гимназию, которую в свое время закончил Илья Ульянов, – отец В. И. Ленина.

И. С. Тимирязев также командовал Астраханским казачьим войском. В связи с этим им принимались меры по благоустройству казачьих станиц. В 1840 году произведён в генерал-лейтенанты.

В связи с нареканиями на якобы неправильные действия И. С. Тимирязева по должности военного губернатора в начале осени 1843 года в Астраханскую губернию внезапно была назначена сенатская ревизия во главе с князем П. П. Гагариным; местное влияние Тимирязева было так велико, что в его присутствии ревизию проводить невозможно и на время проверки, весной 1844 года, его отозвали в Санкт-Петербург, затем последовал указ об отставке его с поста военного губернатора, а в 1845 году его уволили и с военной службы. «В земском суде дела лежали без движения помногу лет, канцелярия губернатора Тимирязева – хаос беспорядков», – докладывали в столицу проверяющие. Тимирязев надолго уехал в своё имение Ржавец Лихвинского уезда Калужской губернии, доставшееся его отцу по духовному завещанию от брата Василия Ивановича Тимирязева.

Обстоятельства проведения ревизии зафиксированы в письмах И. С. Аксакова, который, будучи её участником, почти 10 месяцев прожил в Астрахани. А. И. Барятинский, находившийся проездом в Астрахани в октябре 1856 года, вспоминал, что И. С. Тимирязев «изменил в губернии летоисчисление. Там говорят: «Это было до Тимирязева, а это – после него«». Сенатская ревизия затянулась почти на 10 лет и в итоге не смогла доказать злоупотребления Тимирязева. В 1853 году высочайшим повелением ему был возвращён чин генерал-лейтенанта и он был принят на службу с назначением к присутствованию в Сенате. Дополнительно Николай I дал Тимирязеву в аренду сроком на двенадцать лет большой участок земли в Самарской губернии.

Иван Семенович продолжительное время был дружен и неоднократно встречался в Москве и Петербурге с Жуковским, Пушкиным, Вяземским, Карамзиным, Соболевским, графом Толстым (Американцем), Нащокиным, Денисом Давыдовым, с дядей А. С. Пушкина – Василием Львовичем и другими выдающимися людьми своей эпохи. В своих воспоминаниях об отце Федор Иванович отмечает любопытный факт. Пушкин в то время был уже женат, служил камер-юнкером и много ездил в большой свет и ко двору, сопровождая свою жену, этот образ жизни часто бывал ему в тягость и он жаловался друзьям, говоря, что это не только не согласуется с его наклонностями и призванием, но и ему и не по карману. Часто забегал он к моим родителям, оставался, когда мог, обедать и как школьник радовался, что может провести несколько часов в любимом кружке искренних друзей. Тогда он превращался в прежнего Пушкина: лились шутки и остроты, раздавался его заразительный смех, и каждый раз он оставлял после себя долгий след самых приятных, незабвенных воспоминаний. Однажды после обеда, когда перешли в кабинет и Пушкин, закурив сигару, погрузился в кресло у камина, матушка начала ходить взад вперед по комнате. Пушкин долго и молча следил за ее высокой и стройною фигурою и наконец воскликнул: «Ах, Софья Федоровна, как посмотрю я на вас и ваш рост, так мне все и кажется, что судьба меня как лавочница обмерила», а матушка была действительно необыкновенного для женщины роста (2 арш. 8½ вершков) и когда она, бывало, появлялась в обществе с двумя своими близкими знакомыми, графинею Е. П. Потемкиной и графинею Шаузель, то их в свете называли «le bouquet monstre»