祝穆其先新安（今安徽歙县，一说建阳）人。祝洙之父。曾祖祝确为朱熹的外祖父，父祝康国是朱熹表弟，跟随朱熹母祝氏居崇安。与弟祝癸同从朱熹受业，后被荐为迪功郎。

祝穆少年丧父，读书于朱熹家塾。20岁，朱熹命黄干为他举行冠礼。乾道初，祝穆与其弟一起随朱熹到建阳云谷晦庵就读，受黄干、蔡元定教诲。他嗜书，手不释卷，于书无所不读。青年时，往来于吴、越、荆、楚之间，所到必登高探幽，临水揽胜，遍访民情风俗，这为他晚年著述积累丰富资料和感性知识。

晚年，祝穆卜居建阳县麻沙水南，名其庐“南溪樟隐”，集朱熹生前手迹，匾于厅堂楣额。在厅右小屋取朱熹生前所书“岁寒”二大字，以表古樟之雅。与隐庐相对，又筑小楼四楹，取张南轩所书“藏书楼”三大字，揭匾楼上。在这优美舒适的环境，开始他晚年的著作生涯。凡经、史、子、集，稗官野史，金石刻，列郡志，“有可采摭，辄抄录”。祝穆善于写文章，“下笔顷刻数百言”。在麻沙水南隐居期间，撰成两部文献性巨著，一是类书《事文类聚》170卷；一是综合性地理志《方舆胜览》70卷。