这一年过后，会昌法难越来越猛烈。
会昌三年，唐武宗下“杀沙门令”。当时，不知为何谣传有藩镇的奸细假扮僧人藏在京师，京兆府在长安城中打杀裹头僧三百余人。
会昌四年，朝廷敕令尽拆大型寺院、佛堂，勒令僧尼还俗；会昌五年，唐武宗又对灭佛的成果进行了巩固，勒令全国东西二都可以留寺两所，每寺留僧30人，天下各节度使治所留寺一所，留僧从5人到30人不等。其它寺庙全部拆毁，僧尼全部还俗。
唐武宗灭佛也是佛教与道教斗争中的一个回合。
道教是中国土生土长的宗教，追尊老子李聃为教祖。唐朝建立后，因为皇帝姓李，道教尊奉的老子也姓李，统治者为了借助神权，提高皇家的地位，自认是老子的后代，所以推崇道教。
武则天崇佛，是因为佛教中涉及到她当女皇的根据，要用佛教来压道教。
至中叶以还，佛教势力日益膨胀。私度之钱归之于地方官吏和寺庙所有，造成政府和寺庙多度僧尼。很多人为了逃避赋役，出家为僧，导致僧人越来越多。而寺庙土地不用纳税，僧人靠农民供养，形成了当时社会上的一大问题，从而逐渐威胁到了唐朝中央统治。
武宗本人又是一个虔诚的道教徒，因此他即位后，便开始筹划灭佛。
此次灭佛的成果是，为唐王室收缴了良田数千万顷，强迫还俗的僧尼26万人，拆寺4600所，可谓“战绩辉煌”。但对僧尼们来说是无妄的灾难。
李德裕执政期间，唯一令白居易欣慰的是，他的堂弟白敏中得到了重用。虽然李德裕用白敏中是有其考虑的，并非出自善意。
晚年白居易的生活，大多是以“闲适”的生活反应自己“穷则独善其身”的人生哲学。
会昌四年（845年），七十三岁的白居易出钱开挖龙门一带阻碍舟行的石滩，事成后作诗《开龙门八节石滩诗二首并序》留念，诗中仍反映出他“达则兼济天下”的人生观。
晚年的白居易大多在洛阳的履道里第度过，时常游历于龙门一带，作《池上篇》、《醉吟先生传》自况。
白居易晚年笃信佛教，号香山居士，为僧如满之弟子。白居易去世前，会昌法难还未达到高潮，信佛的白居易尚未受到太大影响。
会昌五年（845年），白居易七十四岁，在履道里第举行“七老会”，与会者有胡杲、吉皎、郑据、刘真、卢贞、张浑；同年夏，以七老合僧如满、李元爽，画成“九老图”。
雅集最开始大致可以推到汉代梁孝王的“兔园会”，这是由梁孝王、皇门贵族与社会名流等上层人士组成的高端聚会。
东汉末年时，又有曹操三父子的“邺下雅集”，这是政治人物和文人交混的聚会。
魏晋以后，文人规模发展壮大起来，休闲式的聚会就增多了，这时候出现的最着名的就是王羲之组织的那次兰亭雅集了，这是一次真正的为后世所千古传诵的集会。
事实上，白居易是想组织“九老会”的，因为九是最大的阳数。参加聚会的也确实是九个人，但有两位年纪不到七十岁，只能以“七老会”命名，白居易绝不掺假。
白居易写《胡吉郑刘卢张六贤多年寿予亦次焉偶于敝居合成尚齿之会七老相顾既醉且欢静而思之此会稀有因成七言六韵以纪之传好事者》一诗说：
“七人五百七十岁，拖紫纾朱垂白须。
手里无金莫嗟叹，尊中有酒且欢娱。
诗吟两句神还王，酒饮三杯气尚粗。
嵬峨狂歌教婢拍，婆娑醉舞遣孙扶。
天年高过二疏傅，人数多于四皓图。
除却三山五天竺，人间此会更应无。”
“七”终究没有“九”好。为了不让人生留下遗憾，没过几个月，白居易又拉来了两位七十岁以上的老同志，再度组织了一场货真价实的“九老会”。
白居易亲自组织的这两次聚会，以诗文酒会的形式，使与会的老人们有歌听、有舞看、有酒喝。白居易号召老人们能歌则歌，能舞则舞，还要求每位老人都要写诗。
同时，白居易还请来画师为老人们“写真”，在每位老人画像上题上他们的诗文。
九位志趣相投的耆老集结，远离世俗，寄情于山水，成就一段为后人所仰慕倾叹的‘香山九老会’。他们在香山“尚齿宴”上饮酒品茗，轮流赋诗，事后结诗集。
这些老诗人真可谓安贫乐道、潇洒自若之极。
白居易晚年给家人写了一首类似“人生总结”的诗《自咏老身示诸家属》：
“寿及七十五，俸沾五十千。夫妻偕老日，甥侄聚居年。粥美尝新米，袍温换故绵。家居虽濩落，眷属幸团圆。置榻素屏下，移炉青帐前。书听孙子读，汤看侍儿煎。走笔还诗债，抽衣当药钱。支分闲事了，爬背向阳眠。”
会昌六年（846年）三月，在位仅五年多的唐武宗去世。唐武宗生前未立嗣，宦官集团拥立唐宪宗之子、唐武宗之叔、光王李怡即位，为唐宣宗。
唐宣宗为光王的时候，曾经遭到唐武宗的迫害，因此“一切务反会昌之政”，唐武宗重用李党，唐宣宗就要打击李党、启用牛党。
于是，李德裕被贬至海南岛，而白敏中出任兵部侍郎、翰林学士承旨、同平章事，取代了李德裕的地位，成为宣宗朝的执政。
白居易当然乐于看到这一切，但此时他已经无法将其形诸诗文了，因为他患了严重的风痹，常常昏迷不醒。
会昌六年（846年）八月十四日，白居易在一次昏迷后，再也没有醒来，享年七十五岁。
白居易去世于洛阳，葬于香山琵琶峰，后世称白园。白园面对着浩浩汤汤的伊河，对岸的石壁是密密麻麻的佛教洞窟，天气好的情况下，在白园能遥望到卢舍那大佛。
白居易去世后，考虑到他生前曾长期在尚书省工作并有卓越贡献，朝议赠其尚书右仆射一官。
大中二年，白敏中为白居易请谥，唐宣宗命太常寺议谥，谥曰“文”。因此白居易亦称“白文公”。
唐宣宗还亲自御制一诗悼念白居易：
“缀玉联珠六十年，谁教冥路作诗仙。
浮云不系名居易，造化无为字乐天。
童子解吟长恨曲，胡儿能唱琵琶篇。
文章已满行人耳，一度思卿一怆然。”
乐天与梦得都化作了天上的星斗。他们闪耀的星光令人仰望，照耀了多少人前行的路！
两位巨星告诉我们：别去想自己是不是沉舟、病树，只要还有“千帆过”，依然是“万木春”；别去判断桑榆晚还是不晚，只要奋斗不停，依然“霞光满天”！