但在杰斐逊离开白宫后，亚当斯对这个曾经击败他的人，开始采取和善态度。1805年，亚当斯恢复了和本杰明·拉什的联系，拉什的反联邦党政治立场曾破坏了他们的关系。在拉什的调解下，亚当斯和杰斐逊通过信件往来忘却了彼此的分歧，重享他们在独立战争时期曾经有过的亲密友谊。从1811年到1826年，两人来往的信件超过了200封。同时，亚当斯还与独立战争时期的其他老友保持着大量的通信联系，在信中他们几乎探讨了一切问题。
亚当斯的晚年时间除了花在农场、读书上，还花在组织一些活动上，他担任过美国艺术科学院院长、马萨诸塞州农业促进会成员和哈佛大学视察员委员会成员。参加这些组织之后，他就经常到波士顿，在那里，他与政治观点相同的老朋友聚首。
亚当斯生活节俭，尽管他从来没有富裕过。妻子艾比盖尔善于持家，把一个大家庭撑了下来。家庭农场倒是提供了一部分食物，但几乎没有什么进项，全家的收入主要靠艾比盖尔数年来购买的债券。
