В апреле 1875 г. Лорис-Меликов был назначен состоять при наместнике Кавказа великом князе Михаиле Николаевиче с производством в чин генерала от кавалерии. В 1875 и 1876 гг. дважды находится в продолжительных отпусках ввиду необходимости лечения. В немецком курортном городе Эмсе знакомится с вышедшей в Берлине брошюрой «Наше положение» либерального земского деятеля А.И. Кошелева, критиковавшего недостатки российской бюрократической системы. Там же, в Эмсе, встречается с автором брошюры и историком-славянофилом М.П. Погодиным. Идейные воззрения всех троих были довольно близки, и, по всей видимости, к этому периоду относится оформление умеренно-либеральных взглядов самого Лорис-Меликова. Вскоре он принимает посильное участие в разработке новой брошюры Кошелева «Общая земская дума», в которой намечались пути «восстановления утраченной связи народа и государя» без нарушения основополагающих принципов самодержавной монархии. Для этого, по мысли разработчиков, следовало создать Думу из депутатов от земских губернских собраний с правом законосовещательного голоса. Именно из этого концептуального проекта черпал Лорис-Меликов идеи в области политических реформ в период высшего взлета своей карьеры.

В 1876 г. Лорис-Меликов назначается командующим отдельным Кавказским корпусом, в ходе Русско-турецкой войны 1877–1878 гг. он проявляет себя талантливым военачальником, одерживает крупные победы над неприятелем. В апреле 1878 г. был удостоен графского титула Российской империи. За более чем 30-летнюю военную службу Лорис-Меликов награждается орденами Св. Анны 4-й, 3-й и 2-й степеней, Св. Владимира 4-й, 3-й и 1-й степеней, Белого Орла, Св. Александра Невского, Св. Георгия 1-й и 2-й степеней, золотой саблей «За храбрость» и целым рядом иностранных орденов: мекленбург-шверинским «За военные отличия» 2-й степени, прусским «За заслуги» и черногорской медалью.

В апреле 1879 г. назначается временным харьковским генерал-губернатором, а вслед за этим и командующим войсками Харьковского военного округа. На новом месте стремится соединить жесткую линию по отношению к революционному подполью с привлечением к сотрудничеству с властью умеренной оппозиции. В последнем Лорис-Меликову значительно помогало его личное обаяние, умение завоевать популярность людей. Биограф оставил такой отзыв о нем в харьковский период его деятельности: «Доступность, простота в обращении, ласковость графа быстро расположили к нему массу. Он действительно имел способность привлекать к себе людей; его мягкие, вкрадчивые манеры, веселость, магнетическое влияние красивых умных глаз очаровывали многих...» Даже в выполнении прямых служебных обязанностей по подавлению революционного движения проявил недюжинные дипломатические способности, чтобы, с одной стороны, своими энергичными действиями заслужить одобрение правительства, а с другой – провести их осмотрительно, не вызывая к себе чрезмерной ненависти революционеров. О том, насколько это ему удалось, красноречиво свидетельствует уже тот факт, что Лорис-Меликов умудрился стать единственным среди генерал-губернаторов, не включенным Исполнительным комитетом «Народной воли» в список приговоренных им к смерти.

Пока граф проводил свою хитроумную политику в Харькове, революционный террор в общероссийском масштабе продолжал усиливаться, и именно это обстоятельство в конечном итоге вознесло его к вершинам государственной власти. Как известно, народовольцы вынесли смертный приговор самому Александру II и осуществили в общей сложности семь покушений на жизнь царя-освободителя. Взрыв, произведенный Халтуриным, высветил всю неспособность как Третьего отделения, так и бюрократического аппарата в целом обеспечить безопасность главы государства, не говоря уже о более масштабной задаче – подавлении революционного движения в стране. Сложившаяся ситуация побудила царя и его ближайшее окружение срочно искать нетрадиционный выход. Его указал проправительственный публицист и издатель М.И. Катков, подавший мысль учредить диктатуру, способную придать расшатанному административному организму единство и силу. Организационной формой задумывавшейся диктатуры должна была стать Верховная распорядительная комиссия по охранению государственного порядка и общественного спокойствия». Решение о ее создании было принято 9 февраля 1880 г. Естественно, встал вопрос о кандидатуре главы вновь создаваемого органа. Военный министр Д.А. Милютин и граф Адлерберг указали царю на харьковского генерал-губернатора как на человека, способного взять в руки и крепко держать власть. Судя по всему, и сам Александр II понимал необходимость нового курса в деле борьбы с революционерами, в связи с чем ловкий и умный Лорис-Меликов, уже зарекомендовавший себя на этом поприще в Харькове, был наиболее подходящей фигурой из всей правительственной элиты того времени. Законодательно это решение было оформлено императорским указом от 12 февраля 1880 г., провозглашавшим создание Верховной распорядительной комиссии во главе с Лорис-Меликовым для «положения предела беспрерывно повторяющимся в последнее время покушениям дерзких злоумышленников поколебать в России государственный и общественный порядок». Указ прямо подчеркивал, что комиссия создается «в видах объединения действий всех властей» «по охранению государственного порядка и общественного спокойствия». Данный законодательный акт предоставлял главному начальнику Верховной распорядительной комиссии право принимать любые решения, безусловно обязательные для исполнения всеми «генерал-губернаторами, губернаторами и градоначальствами», всеми чиновниками Российской империи, «не исключая военного», т.е. фактически Лорис-Меликов наделялся всей полнотой государственной власти. Действующий монарх на время уходил в тень и официально передавал главе вновь созданного органа неограниченные полномочия – случай беспрецедентный в русской истории. Военный министр Д.А. Милютин так суммировал в своем дневнике впечатление от его назначения: «Граф Лорис-Меликов понял свою новую роль не в значении только председателя следственной Комиссии, а в смысле диктатора, которому как бы подчиняются все власти, все министры». М.Н. Катков назвал его «диктатором сердца», что чрезвычайно понравилось Лорис-Меликову, пожелавшему, чтобы это определение высекли на могильном камне после его смерти как высшую награду за труды при жизни.