彭时已经死去，商辂受到大宦官汪直陷害，而被免官回家，所以当时的内阁成员主要是万安、刘珝、刘吉。万安作为首辅，和南方的官员结成朋党，刘珝与尚书尹旻、王越则和北方的官员结为朋党，双方争权夺利，互相倾轧，完全不顾国家利益。最后，万安联合李孜省、邓常和彭华等打败了刘珝等人，当时宪宗失德，崇信道教，不理朝政，而国家却到处在发生灾难。作为内阁大臣的他们却没有尽到责任，对皇帝加以规劝，反而听之任之，所以当时流传着“纸糊三阁老，泥塑六尚书”的说法，可以说是对他们形象的讽刺。</p>

掌握西厂的大宦官汪直被东厂太监排挤驱逐，于是谏官请罢西厂，宪宗没有同意，万安再次上疏请罢西厂，结果皇帝同意，于是万安受到朝臣的称赞，被加授太子太傅，升为华盖殿大学士，后来又加少傅、太子太师头衔，再升为少师，可谓尊荣一时。</p>

宪宗驾崩，朱祐樘即位，万安负责起草登极诏书，同时禁止谏官进言，使满朝官员一片哗然。御史汤鼐质问内阁，万安不动声色地说是皇帝的意思，于是汤鼐马上把他的话上奏皇上，揭发万安自己堵塞言路，却把责任推给皇帝，有失人臣之礼。</p>

庶吉士邹智，御史文贵、姜洪等人也跟着弹劾万安，于是孝宗很不高兴。在此之前，有个叫倪进贤的人，读书不多，品行很坏，为了巴结万安，常常给他讲房中术。万安对他很好，让他参加科举考试，结果考中进士，授为庶吉士，担任御史。有一天孝宗在宫中捡到一本小书，里面都是讨论房中术的内容，后面署名“臣安进”。孝宗看后大为恼怒，命令太监怀恩拿着这本书到内阁质问万安：“这难道是大臣的所为吗”万安吓得大汗淋漓，跪在地上，不敢出声，后来大臣们弹劾他的奏章呈上后，孝宗又让怀恩拿到万安面前朗读。万安跪着不肯起来，想得到宽恕，但是孝宗没有任何原谅他的表示，于是万安只好上书辞职，得到批准，当时他已经七十多岁了。</p>

在回家的途中，万安还不时地回头张望，希望看见奉皇帝命令来召他回京的人，还幻想着被重新起用，回家一年后，万安病死，赠太师，谥文康。</p>

万安执政二十年中，每当科举考试，必定让他的门生担任考官，所以他的子、孙、甥、婿考中的人很多，他的儿子万翼，官至南京礼部侍郎;孙子万弘璧，任翰林编修。万安死后没有多久，万翼、万弘璧竟然也相继死去。</p></div>