熹宗驾崩，崇祯即位一开始，出于策略考虑，对魏忠贤“阉党”隐忍，经一段时间后，崇祯帝勒令魏忠贤出京到凤阳去看管皇陵，全部财产充公，掀开清算魏忠贤“阉党”的序幕，魏忠贤自缢于阜城县南关。从此，开始了持续一年多的政治清算运动，朱由检发布政令，要内阁、六部、都察院的大臣“定阉党逆案”，对形形色色的“阉党”分子进行彻底清查，根据各人的罪状作出惩处结论，最初朝议定魏忠贤逆党，虽牵连当政阁臣，但张瑞图并未列入。</p>

然而，施凤来、张瑞图任考试官时，所取考生几乎都是中官、勋贵的姻戚门人，终于激怒了崇祯帝，施凤来、张瑞图被罢免。朱由检以谕旨的形式公布“钦定逆案”名单，张瑞图列入“交结近侍又次等论徒三年输赎为民者”，张瑞图被遣归。</p>

张瑞图落职后，偕如夫人贺氏隐居晋江青阳下行故里，生活恬淡，优游田园林壑，忘情山水，经常往白毫庵中与僧人谈论禅理，以诗文翰墨自娱，留下大量书法及诗歌作品。所作《村居》、《庵居》六言诗300首为世人传诵，卒于家，终年七十四岁，著有《白毫庵内篇》、《白毫庵外篇》等。</p>

唐王朱聿键为张瑞图被列入“阉党”一案平反，赐谥文隐，重新祭葬，时吏部尚书、文渊阁大学士林欲楫为张瑞图撰写数千言的《明大学士张瑞图暨夫人王氏墓志铭》，列举十数件张瑞图与魏忠贤曲折斗争的大事为其翻案。林欲楫感慨“夫洁身以全名者，曲士之所易；濡迹以救世者，圣贤之所难也。”林欲楫与张瑞图的关系过于密切，两人是姑表兄弟，又是同榜举人、同榜进士，张瑞图之子张为龙更是林欲楫的女婿，其公正性被打上问号，致使林欲楫的说法未能得到普遍认可。不管如何，张瑞图的“阉党”帽子一直戴在头上却是不争的事实。</p></div>