Прапорщиком участвовал в Крымских походах (1687 и 1689 годов) князя Василия Голицына. За эти два года Яков Брюс четыре раза проделал пеший путь из Москвы до Крыма и обратно. Судьба хранила его. В петровский первый Азовский поход отправился военным инженером, во второй – капитаном-бомбардиром. Царю Петру I, вне всякого сомнения, льстило, что один из приближенных к нему офицеров является прямым потомком шотландских королей.

Во время Великого посольства Петр I вызвал к себе в Голландию Брюса, чтобы тот изучал артиллерийское дело в Европе. В Лондоне Я.В. Брюс изучал чеканку денег на Монетном дворе, которым тогда управлял великий ученый Исаак Ньютон. Тогда шотландец получил от царя монопольное право торговать в Московском государстве табаком, что сделало Якова Брюса лично богатым человеком.

Северную войну начал в чине генерал-майора артиллерии. Когда под Нарвой в плен попал командующий петровской артиллерией генерал-фельдцейхмейстер грузинский царевич Александр Арчилович Имеретинский (умер в плену), его должность стал исполнять Брюс. Ему и пришлось восстанавливать после «первой Нарвы» полевую артиллерию русской армии. На его плечи легла организация производства артиллерийских снарядов и обучение личного состава артиллерии.

Генерал-майор Я.В. Брюс командовал артиллерией при осаде Нотебурга. Во время «второй Нарвы» начальствовал над осадными батареями (66 пушек крупных калибров и 34 тяжелые мортиры). Тогда их огнем были сильно разрушены бастионы «Глория», «Гонор» и «Виктория», что заметно облегчило штурм крепости.

Сложность организации бомбардировки Нарвской крепости состояла не в том, чтобы «выпалить» с известной меткостью многие тысячи ядер и бомб, а в том, чтобы своевременно доставить эти десятки тысяч пудов металла и пороха в осадный лагерь. За что царь Петр I сердечно благодарил шотландца.

Продолжая свои военные реформы, Петр I в 1704 году преобразовал Пушкарский приказ в Артиллерийский с одновременной реорганизацией его функций. Потомок королей Шотландии возглавил его на долгие годы. Брюс лично разработал немало документов. Участвовал он и в разработке петровского Воинского устава 1716 года.

Петр I мог быть доволен боевой выучкой армейской артиллерии. За блистательную победу при Калише Яков Вилимович удостоился золотой медали, «осыпанной» бриллиантами, с портретом государя. За победу при Лесной – золотой медали с надписью: «Достойному достойное».

Потом была Полтава и неудачный Прутский поход 1711 года. На берегах Прута Брюс приказал своим офицерам вести огонь из орудий только с началом ближнего боя, когда толпы янычарской пехоты приблизятся к лагерной черте. В том же году в шведском плену умер Александр Имеретинский. По получении такого известия царь Петр I высочайшим указом назначил Я.В. Брюса генерал-фельдцейхмейстером.

В 1712 году шотландец воевал в Померании, после чего окончательно переехал из Москвы в Санкт-Петербург. Здесь он продолжил занятия артиллерийской наукой, собирая огромную библиотеку, которую подарит Российской академии наук. В свое 40-летие был назначен за заслуги членом Правительствующего сената. В 1717 году назначается президентом сразу двух коллегий – Берг-коллегии и Мануфактур-коллегии. Участвовал в переговорах о мире на Аландских островах.

С воцарением Екатерины I Якову Вилимовичу Брюсу места в новом «строе государственного управления» не нашлось, поскольку в окружение временщика А.Д. Меншикова он не входил. Указом государыни граф был отправлен в почетную отставку с поста генерал-фельдцейхмейстера… с присвоением генерал-фельдмаршальского чина, что стало признанием его больших личных заслуг перед русской армией и русским Отечеством в ходе Северной войны.