В 1805 году военный губернатор отправился второй раз инспектировать Оренбургскую губернию и вверенные ему войска. Побывал в Уральске, Симбирске, Казани, Уфе и других городах обширного края. Увиденное в поездке, вероятно, и на этот раз не слишком удовлетворило Г. С. Волконского. По крайней мере, именно после возвращения из нее он решает открыть в Оренбурге военное училище, чтобы обеспечить губернию подготовленными кадрами. Два казачьих полка губернатор «командирует» в Москву для укрепления союзнических войск России, Австрии и Пруссии в войне с Наполеоном, а сам вынужденно остается в далеком от военных действий Оренбурге.

Волконский прекрасно понимал, какой богатейший край достался ему в управление, и поэтому способствовал одной из экспедиций в район Джезказгана, которая подтвердила предположения о больших запасах в районе нынешнего Центрального Казахстана свинца и меди.

Григорий Семенович правил Оренбургским краем до 1817 года. Говорят, что он был единственным из оренбургских губернаторов, которому была посвящена ода, написанная предположительно В. В. Евреиновым:

Однако не все были в восторге от его правления этим обширным краем. Так, граф П. В. Заводовский со свойственной ему резкостью выразился по этому случаю: «Распорядок на страну Оренбургскую хорош был по голове Неплюева; но в наш век возлагают на юродивого и шута». А бывший одно время адъютантом у князя А. М. Тургенев писал, что Волконский был человек «вспыльчивый, бешеный, надменный, бестолковый. Нельзя сказать о нем, что он был дурак, но суждение его во всем обо всем было странное, уродливое»… Что же послужило причиной столь обидного для генерала мнения? Дело в том, что о странностях Волконского ходили легенды. Совершенно заслуженно ему отведено несколько страниц в книге М. И. Пыляева «Замечательные чудаки и оригиналы».

Чудачества Волконского и его подражание великому Александру Суворову были хорошо известны оренбуржцам. Григорий Семенович благоговейно хранил память о своем учителе всю жизнь. Как и Суворов, оренбургский губернатор любил холод. А. И. Второв писал, что Волконский «зимой и летом ежедневно обливался холодной водой, ходил часто по улицам без верхнего платья и говорил: “Суворов не умер. Он во мне!”» Волконский, как и Суворов, считал прусскую военную форму уродливой (хотя с этим многие согласились бы), не хотел носить косу и букли, чем навлек на себя гнев императора Павла I.

И хотя большинство историков считает, что князь управлял вверенным ему Оренбургским краем не очень удачно, но все-таки существует и другое мнение. Генерал-майор И. В. Чернов называл Волконского хорошим администратором, однако признавал, что в последние годы своего правления губернатор практически не занимался даже важными делами.

Но думается, что управление краем все же было генералу не по плечу. Современники с облегчением отмечали: слава Богу, что не состоялся готовившийся в 1805 году поход на Хиву – помешала русско-турецкая война. А так, одолеваемый суворовскими амбициями, Волконский мог очень далеко завести русское войско. К тому же из-за контузии в голову Григорий Семенович вел себя очень странно. Историк Ф. И. Лобысевич рассказывает, что князь «был большой чудак, постоянно ходил в халате с надетыми на него орденами и в таком костюме даже прогуливался по улицам, сопровождаемый толпами мальчишек». Из всех своих пеших прогулок он возвращался домой на какой-нибудь попутной телеге… «Когда князь выходил из дому посидеть на крыльцо, то любимым его занятием было останавливать женщин и любезничать с ними. Получив из Санкт-Петербурга бумаги, князь Волконский прежде всего распечатывал царские указы, благоговейно крестился, целовал подпись и, не читая, клал их за образ в своем кабинете. Когда же являлся правитель канцелярии, который собственно управлял краем, то, отдавая ему указы, приговаривал: “Дать надлежащий ход”».