Екатерина I, утвердившись на русском престоле, не забыла заслуг Брюса, наградила его орденом Александра Невского. Но увидев, как «птенцы гнезда Петрова», прежде дружно служившие русскому государству, начали враждовать, делить почести и сферы влияния при дворе Екатерины, Брюс в 1726 г. предпочёл удалиться в отставку в чине генерал-фельдмаршала. В 1727 г. он купил у А.Г. Долгорукого подмосковное имение Глинки, разбил регулярный парк, выстроил дом с обсерваторией и безвыездно уединился в имении, занимаясь любимыми науками. Он увлёкся медициной и оказывал помощь окрестным жителям, составляя лекарства из трав. Брюс скончался в 1735 г., немного не дожив до 66 лет. Детей у него не было.

Однако со временем в памяти народной упрочился иной образ Брюса – колдуна и чернокнижника. Повод для подобных подозрений Брюс подал ещё в молодости. В конце XVII в. в Москве была построена Сухарева башня, и москвичи с суеверным страхом стали замечать, что время от времени ночной порой в верхних окнах башни мерцал таинственно свет. Это друг царя Ф.Я. Лефорт собирал «Нептуново общество», увлекавшееся, по слухам, астрологией и магией. В общество входили ещё восемь человек и среди них – сам любознательный царь, неразлучный с ним Меншиков и Яков Брюс.

Тяготение к тайноведению у Брюса было, можно сказать, наследственным. Его предок шотландский король Роберт Брюс в XIV в. основал Орден святого Андрея, объединивший шотландских тамплиеров. По преданию, Яков Брюс после смерти Лефорта возглавил «Нептуново общество». Кроме того, на Сухаревой башне он занимался астрономическими наблюдениями. Репутация «звездочёта» и глубокие научные познания Брюса порождали среди обывателей фантастические легенды. Как рассказывал П.И. Богатырёв в очерках «Московская старина», москвичи уверились, «будто у Брюса была такая книга, которая открывала ему все тайны, и он мог посредством этой книги узнать, что находится на любом месте в земле, мог сказать, у кого что где спрятано… Книгу эту достать нельзя: она никому в руки не даётся и находится в таинственной комнате, куда никто не решается войти».

Основой для подобных преданий могли послужить реальные факты. Чиновники, составлявшие опись кабинета Брюса, нашли там немало необычных книг, например: «Философия мистика на немецком языке», «Небо новое на русском языке» – так обозначено в описи. Была и вовсе загадочная книга, состоявшая из семи деревянных дощечек с вырезанным на них непонятным текстом. Народная же молва утверждала, будто магическая Брюсова книга принадлежала некогда премудрому царю Соломону. И Брюс, не желая, чтобы она после его смерти попала в чужие руки, замуровал её в стене Сухаревой башни. А после того как башня была разрушена, стали поговаривать, что случилось это неспроста и виной всему – могучие и опасные чары, заключавшиеся в Брюсовой книге. Да и саму смерть Брюса порой приписывали его магическим экспериментам.

В качестве мага и чернокнижника Брюс фигурирует и в сочинениях русских романтиков: в повести В.Ф. Одоевского «Саламандра», в незавершённом романе И.И. Лажечникова «Колдун на Сухаревой башне».

Новая реальность XX в. вносила в легенды о Брюсе свои коррективы. Утверждали, будто он не умер, а создал воздушный корабль и улетел на нём неведомо куда. Царь же повелел книги его замуровать в Сухаревой башне, а все снадобья – сжечь. Таким образом разрастался и варьировал целый свод сказаний, в котором Брюс представал чем-то вроде русского Фауста.

В судьбе Брюса действительно есть что-то загадочное. Неясно, где и как сын служилого дворянина, на четырнадцатом году записанный в «потешные», сумел получить такое блестящее образование, которое позволило ему затем овладеть глубокими познаниями в самых различных областях науки? Непроницаемыми для постороннего взгляда остались его внутренний мир и домашняя жизнь, особенно в последние годы, проведённые почти в отшельническом уединении.