Джеймс был старшим сыном богатого плантатора графства Ориндж (западная часть колонии Вирджиния). Плантация в местечке Порт-Конвей, на которой трудились чернокожие рабы, была высокодоходной. Здесь производили табак, который экспортировался в Европу. Вирджинский табак пользовался большим спросом и продавался подчас по заоблачным ценам. Плантация площадью 5 тыс. акров с полутора сотнями рабов была одной из крупнейших в графстве. В начале 1760-х гг. семья Мэдисона переехала в новый, только что построенный дом, который соседи называли дворцом. Да и имя хозяева ему дали претенциозное – Монпелье.

Всего в семье было 12 детей (восемь сыновей и четыре дочери), половина из которых скончались в детстве. Отец Джеймс-старший и мать Нелли-Роуз рано заметили, что их сын мало интересуется практическими хозяйственными делами, но страстно тянется к «высоким знаниям». Родители понимали, что, имея армию наследников, появившихся на свет вслед за первым сыном, они могут позволить ему получить хорошее образование, выделяя необходимые средства. При этом отец предусмотрительно согласился с отказом сына от наследования плантации (но не особняка), что было оформлено специальным нотариальным актом.

После того как Джеймс окончил местную пятилетнюю школу и еще два года занимался дома с учителями, которых специально для него выписывал из крупных городов отец, он в 1769 г. отправился на север, в колледж штата Нью-Джерси, который уже тогда пользовался известностью, а позже стал знаменитым Принстонским университетом.

К этому времени Джеймс уже основательно овладел математикой, географией, французским и классическими языками. 18-летний студент проявил столь высокие способности, что его взял под покровительство президент университета Джон Уизерспун, религиозный проповедник, известный как один из почитателей и знатоков эпохи Просвещения.

Джеймс изучал философию и политическую экономию. Он увлекся учением Адама Смита и строил различные проекты развития родной Вирджинии и ее превращения в самодостаточное государство, ведущее активную торговлю с соседними колониями или государствами. По окончании трехлетнего курса он был оставлен в колледже еще на несколько месяцев для изучения древнееврейского языка, который Уизерспун считал вершиной образования, а также предмета, который его учитель называл политической философией.

Проведя в колледже около четырех лет, Мэдисон возвратился в свое графство, не очень хорошо представляя себе, чем именно будет заниматься, но полный стремления отдать силы служению обществу. Как часто говорят американцы, он оказался в нужном месте в нужное время. В колониях развертывалось бурное движение сопротивления британскому диктату, которое вылилось в Войну за независимость.

В 1774 г. в графстве Ориндж был образован нелегальный Координационный комитет, объявивший своей задачей борьбу против господства Великобритании. Джеймс вошел в его состав. В следующем году он стал членом, а вслед за этим председателем нового местного органа – Комитета безопасности графства. Современники отмечали парадокс: Джеймс был застенчивым, даже робким молодым человеком со слабым здоровьем. Он был подвержен простудам и часто проводил время в постели. Но когда он начинал аргументировать свои предложения, его речь становилась твердой, решительной и о застенчивости и хрупкости быстро забывали.

В 1775 г. Мэдисона избрали делегатом Вирджинского конвента, который при его активном участии разработал местную конституцию, важным приложением к которой стал документ под названием Декларация прав. Оба документа в значительной мере послужили образцами для принятых вскоре основополагающих общеамериканских законодательных актов. Правда, в одном вопросе Мэдисон оказался в меньшинстве: он настаивал, чтобы в декларацию был включен пункт о свободе религии, а большинство делегатов не оказались готовыми к принятию столь радикального положения, и англиканская церковь оставалась господствующей. Это, впрочем, никак не подорвало авторитета молодого законодателя. Наоборот, уважение к нему как к человеку, твердо отстаивавшему свои принципы, только повысилось.