Теперь предстояла ратификация основного закона штатами. Соглашаясь в основном на создание централизованного государства, легислатуры штатов в ряде случаев требовали гарантий обеспечения своих прав (это в наибольшей мере касалось таких крохотных штатов, как, например, Род-Айленд, Коннектикут и Дэлавер) и, главное, обеспечения законных прав графств, городских и сельских общин и отдельных граждан. Считая такие претензии обоснованными, Мэдисон счел необходимым поддержать их в прессе. Он решил изложить идеи, остававшиеся актуальными, в цикле статей.

Его мысли аргументировались в статьях, помещенных в издававшихся Гамильтоном нью-йоркских газетах, а затем в сборнике «Записки федералиста», появившемся в 1788 г. Из 85 работ, включенных в сборник, 29 принадлежали Мэдисону. В них разрабатывались основные вопросы политической теории, которые вошли в классический фонд социальной философии и тщательно изучаются исследователями по наши дни. Мэдисон отстаивал необходимость балансирования между твердой централизованной государственной властью, обеспечивающей надежный порядок и законное управление страной, и предоставлением широких прав отдельным гражданам, их объединениям и местным административным органам. Он признавал, что революционному народу часто, как это было в Соединенных Штатах, не хватает сдержанности, самоограничения, зато сохраняется склонность к созданию упорствующих фракций. Предоставив населению широкие демократические права, центральное правительство должно было, по его мнению, предпринять «строгую проверку достоинств» общин и граждан. В то же время в статьях содержались обоснования основных демократических свобод американцев, которые затем, при ратификации Конституции, вошли в первые десять поправок к ней, известные под названием Билля о правах. Именно Мэдисон сформулировал такие важные положения этого билля, как свобода собраний и прессы, недопустимость произвольных арестов, обязательность суда присяжных.

В работах почитателей Мэдисона и некоторых исторических исследованиях его называют отцом современной американской Конституции. В этом можно увидеть преувеличение, так как она создавалась на основе предложений и компромиссов ряда законодателей, а затем представителей штатов, но тот факт, что Джеймс Мэдисон был одним из ее создателей, неоспорим. Специалисты подсчитали, что из семи статей конституции Мэдисону принадлежала по крайней мере 2-я, касающаяся полномочий президента страны.

Постепенно разногласия в среде ведущих политических деятелей американского государства усиливались. Все более четко оформлялись две группировки. Одна, руководимая Джефферсоном и представлявшая главным образом интересы Юга, выступала за продвижение США на запад, а во внешней политике за ориентацию на Францию. Вторая во главе с Гамильтоном в основном была связана с финансовыми домами Севера и требовала сохранения тесных отношений с Великобританией.

Хотя Мэдисон в борьбе за принятие федеральной конституции и особенно Билля о правах сблизился с Гамильтоном, по основным политическим позициям и по личным симпатиям он оставался связанным с Джефферсоном и другими вирджинскими политиками. Будучи избранным в Конгресс от своего штата, Мэдисон стал одним из главных оппонентов Гамильтона, в частности по вопросу о создании федерального банка, учреждение которого он и другие сторонники Джефферсона считали покушением на права штатов. В основном восторжествовали предложения Гамильтона, которые поддержали президент Вашингтон и его преемник Адамс. Джефферсон же при поддержке и помощи Мэдисона, Монро и других деятелей приступил к формированию политической партии, получившей название Демократическо-республиканской (позже ее стали называть Республиканской или, точнее, первой Республиканской, чтобы отличать от другой партии под таким же названием, возникшей много лет спустя).