Немало противников у министра было и в военных кругах. Некоторые генералы с беспокойством восприняли многие нововведения, возмущались их социальной направленностью. С наиболее ожесточенными нападками на реформы, в частности на систему военных округов и нового полевого устава, выступил А. И. Барятинский, бывший начальник Милютина. Фельдмаршал предполагал, что русская армия будет перестроена по прусскому образцу, министр станет ведать административным управлением и снабжением, а сам он займет ключевой пост начальника штаба. Но Милютин ориентировался на пример Франции, где министр являлся единственным руководителем военного ведомства. Поэтому в 1868 году разочарованный Барятинский ушел в отставку. Вдохновляемый им известный военный публицист Р. А. Фадеев в серии статей резко раскритиковал мероприятия Военного министерства.

В какой-то момент показалось, что положение Милютина в верхах заметно пошатнулось. Однако молниеносный разгром Франции в войне с Пруссией в 1870 году заставил правительственные круги задуматься о состоянии армии и повышении ее боеспособности. Глава военного ведомства воспользовался этим, чтобы поставить вопрос о введении всеобщей воинской повинности. Шуваловская группировка резко выступила против этой инициативы, защищая привилегии дворянства. Борьба растянулась на несколько лет; Дмитрий Алексеевич проявил твердость и даже заявил о своей готовности уйти в отставку. Тем не менее эта конфронтация завершилась его победой: Александр II предпочел поддержать военного министра, внутренне сознавая его правоту.

Принятие в 1874 году закона о всеобщей воинской повинности совпало с падением всесильного начальника III отделения. Отныне Милютин стал самым влиятельным лицом в высших сферах власти. К нему постоянно обращались с просьбами о содействии, его мнение запрашивали при решении всех принципиально важных вопросов внутренней и внешней политики. Канцлер А. М. Горчаков из-за преклонного возраста потерял прежнюю активность, и роль военного министра в иностранных делах значительно возросла. С уходом П. А. Шувалова германофильская группировка в верхах частично утратила прежнее влияние. И все же Милютину, который всегда выступал противником этого направления, не удалось добиться пересмотра внешнеполитической ориентации. Династические связи между двумя императорскими семьями были слишком тесными. Поэтому военный министр с тревогой наблюдал за действиями канцлера О. фон Бисмарка, всячески демонстрировавшего сближение с Россией и стремившегося вторично разбить Францию, чтобы обеспечить Германии гегемонию в Европе.

Одновременно Милютин внимательно следил за развитием отношений России с Турцией. За два месяца до начала русско-турецкой кампании он представил Александру II записку, в которой, признавая пагубность войны для России, указал на необходимость прямого военного вмешательства в события на Балканах. По его словам, восточный вопрос является «русским», что означает «исключительное право» России оказывать покровительство христианам, страдающим под турецким игом. Своей запиской Милютин рассчитывал в разгар балканского кризиса побудить императора к решительным действиям. Сторонники войны в окружении Александра II составляли большинство, однако были и противники. Министр финансов М. Х. Рейтерн выступил против столкновения с Турцией, грозившего России расстройством государственных финансов и экономическими потрясениями. Однако император пренебрег интересами народного хозяйства. После долгих колебаний он уступил давлению общественного мнения и требованиям военной «партии» во главе с Милютиным.