Вернувшись на родину в 1788 г., Адамс встретился с Джорджем Вашингтоном, которого повсеместно называли уже «отцом нации». Оба они вспомнили, что именно Адамс в свое время предложил назначить Вашингтона командующим американской армией. Когда Вашингтон был выдвинут в президенты, он предложил Адамсу баллотироваться вместе с ним: оба президентских срока Вашингтона – 1789–1797 гг. – Адамс занимал пост вице-президента. Как он признавался позже своим близким, это были для него почти потерянные годы. Вашингтон лично решал важные хозяйственные, политические, административные вопросы, не прибегая к его помощи.

Лишь один раз Адамс в 1789 г. попытался вмешаться в решение важного вопроса и потерпел провал. Он предложил, чтобы по примеру европейских монархов – реально царствующих или почти номинальных (как это уже было в Великобритании, где все бо́льшими правами обладал парламент) – президента официально именовали бы His Majesty (Ваше Величество). В результате Адамса не только высмеяли в Конгрессе и в прессе, но и обвинили в тайном монархизме, что было несправедливо, хотя явно демонстрировало складывавшиеся консервативные взгляды Джона. Осудили его как федералисты Гамильтона, так и республиканцы Джефферсона. После этого конфликта Адамс почти не высказывался по вопросам большой политики, но, имея в виду его дипломатические способности, Вашингтон назначил именно его своим посредником в переговорах между Гамильтоном и Джефферсоном, и ему удалось привести их к временному компромиссу.

Особенно осторожно Адамс выражал свое мнение по вопросу о рабстве. У него самого рабов не было, и ранее он не раз высказывался против использования рабского труда. Однако, имея в виду, что Вашингтон был рабовладельцем, и довольно крупным, Адамс на вице-президентском посту даже отрицательно оценил возможность отмены рабства в родном штате Массачусетс после внесения такого предложения. В политических кругах, однако, считали, что Адамс – человек «себе на уме». Не только республиканцы, но и федералисты относились к нему с известной долей недоверия.

Когда Вашингтон отказался от выдвижения своей кандидатуры на третий срок, федералисты вначале предполагали выдвинуть Гамильтона. Оказалось, однако, что эта кандидатура была неприемлемой в силу положений Конституции (Гамильтон не был урожденным американцем, он родился на острове Невис в Вест-Индии). В этих условиях оказывалось, что Джон Адамс – наиболее заметная фигура, которую могли выдвинуть федералисты, чтобы не допустить к власти республиканца Джефферсона. Адамса рассматривали как «меньшее зло».

Во время президентской кампании в противовес Адамсу республиканцы-демократы, как стали называть себя сторонники Джефферсона, выдвинули своего лидера. Джефферсон вел активную агитацию, тогда как Адамс в борьбе почти не принимал участия, в основном проводя время в своем доме в пригороде Бостона. Более того, он осуждал ожесточенные нападки друг на друга, на которые не скупились кандидаты на разные должности. Он даже заявил как-то, что в случае избрания будет «драться с обеими партиями и с каждой личностью, прежде чем определю свое понимание вещей – иначе я буду проституировать своим языком или пером, или и тем, и другим».

Эти президентские выборы были первыми, в которых исход не был предопределен заранее. В различных штатах они проводились в разное время с 4 ноября по 7 декабря 1796 г. Победил Адамс, но незначительным большинством: он получил 71 голос выборщиков, тогда как его главный соперник Джефферсон – 68. В результате Джефферсон стал вице-президентом. Это был один из немногих случаев в американской истории, когда была предпринята персональная попытка смягчить межпартийную борьбу путем сотрудничества двух лиц на высших исполнительных постах. Президент и вице-президент приступили к исполнению своих обязанностей 4 марта 1797 г. Эта дата в дальнейшем стала традиционной для инаугурации нового президента.