一年秋天，白居易在游庐山的时候，觉得这里风景实在太秀美，不舍得离开，于是就决定，要建一座草堂。
白居易用了一年的时间，把这座草堂建好了。
草堂建筑极为简朴，“三间两柱，二室四牖”，堂前是十丈见方的平地，当中有平台，平台南面有一个方形的水池，池中有白莲花和白鱼。水池周边，多是山竹野花。
草堂南边，靠近石涧，有松杉遮云蔽日，在盛夏时节就像秋天一样凉爽。草堂出入口是一条白石道，周围野花丛生，幽静雅致。
草堂北边，以层崖积石为假山，杂木异草覆盖其上，飞泉附近则种着茶树。
闲时，白居易就坐这里，一边欣赏飞泉和茶树，一边煮茶、饮茶。
草堂东边，三尺瀑布飞落石渠，飘逸就像白色绸缎，声如玉琴筝萧。
草堂西边靠近北崖右角，用剖开的竹子架空，引山泉流下，随风飘走，就像珍珠一样。
草堂较远的地方，还有几处冠绝庐山的景观：春天有“锦绣谷”的花，夏天“石门涧”的云，秋天有“虎溪”的月，冬天有“炉峰”的雪，庐山美景尽收其中。更奇妙的是，甚至在一天之中就千变万化。
草堂落成不久，白居易写下《庐山草堂记》，是一篇山水散文，被视为中国山水园林学的开山之作。
在文中，白居易表达了自己的志向，说是将来退休，子女们都成家了，自己就带着妻儿在这里终老。
白居易在草堂度过了“不惟忘归，可以终老”的愉悦时光，并在这里将自己的诗作进行整理，编成了一部十五卷的诗集。后来，白居易怀着对庐山的眷念，又将自己的六十卷本文集，寄藏在庐山东林寺。
“人间四月芳菲尽，山寺桃花始盛开。
长恨春归无觅处，不知转入此中来。”
在公元817年桃花盛开的农历四月，白居易从自己的草堂出发，到庐山顶上的大林寺寻春赏花。
一路美景，映衬着忧愁失意，白居易感慨万千，写下了《游大林寺诗并序》。
这首诗中，白居易用桃花代替抽象的春光，把春光写得具体可感，形象美丽。还把春光拟人化，把春光写得仿佛真是有脚似的，可以转来躲去。
“人间”一词，决不仅仅为“山寺”的对仗工整而用，“山寺”也许就是“人间”仙境。
在人间天涯沦落的“长恨”，也许在桃花盛开的仙境中会得到解脱。
江州司马是个闲职，白居易有很多时间到庐山草堂居住，每次一个人来，常常一住就是十天。他把全部的情思都寄托在草堂和周围的美景。
在这个自己亲手经营的，与自然环境完美谐和的园林景观中，静可饮茶、禅定，动可散步、交游。
那几年，白居易以草堂为落脚点，遍游庐山，与山寺中的高僧谈禅论文，享泉石山野自然之乐。
这正是所有抑郁不得志的文人理想的隐居状态。
白居易在江州表面上沉溺诗酒，纵情山水，问道坐禅，“欲罢去烦恼，渐归空门”，骨子里还是渴望重新出山，一展抱负的。
他经常告诉自己，虽然自己已经不在乎升官发财，若有转机，自己也应抓住，起码可以多为黎民百姓做点事吧？
从元和十二年（817年）开始，朝廷政局逐渐变得对白居易有利。白居易当年在翰林院的老领导崔群当了宰相，陷害白居易的王涯被罢了相位；元和十二年十月，朝廷平定淮西之乱，宪宗皇帝高兴之余，宣布大赦，像白居易这样轻罪被贬的官员，自然有了升迁的机会。
经崔群、江西观察使裴堪、江州刺史崔能等帮忙，元和十三年（818年）冬天，白居易升任忠州刺史（正四品下）。
白居易能够除刺忠州，崔群起到了“吹嘘生翅”的作用。白居易与崔群的书信、诗歌往来贯穿二人交往的始终，数量多、频率高。
崔群与白居易同龄，字敦诗，号养浩，贝州武城（今山东武城西北）人，贞元八年中进士，年仅十九岁，与韩愈为友。贞元十年中贤良方正科，初为秘书省校书郎，贞元十二年为宣歙观察使从事。元和元年累迁右补阙。元和二年，召为翰林学士，历官中书舍人。迁礼部侍郎，选拔人才公允。
在江州，白居易曾有《答户部崔侍郎书》，向崔群表达自己的心迹：
“然自到浔阳，忽已周岁。外物尽遣，中心甚虚。虽赋名之间则有厚薄，而忘怀之后亦无穷通。用此道推，颓然自足。又或杜门隐几，块然自居。木形灰心，动逾旬月。当次之际，又不知居在何地，身是何人。虽鵩鸟集于前，枯柳生于肘，不能动其心也，而况进退荣辱之累耶？”
虽然白居易如此表达对进退穷通的淡然，但是淡然背后是何其的失意。
这封书信可视为是向有一定职位的崔群倾诉衷肠，并渴求其同情而予以援引的行为。
元和十二年（817年）七月，崔群拜中书侍郎、同中书门下平章事。
朝廷的一纸任命在冬天传达到白居易手上时，他内心充满了温暖，还有按捺不住的冲动。他迫不及待地赴忠州履新。
他写下《别草堂三绝句》：
“正听山鸟向阳眠，黄纸除书落枕前。
为感君恩须暂起，炉峰不拟住多年。”
“久眠褐被为居士，忽挂绯袍作使君。
身出草堂心不出，庐山未要勒移文。”
“三间茅舍向山开，一带山泉绕舍回。
山色泉声莫惆怅，三年官满却归来。”
与友人临别时，他又作了一首《浔阳宴别》诗：
“鞍马军城外，笙歌祖帐间。
乘潮发湓口，带雪别庐山。
暮景牵行色，春寒散醉颜。
共嗟炎瘴地，尽室得生还。”
诗中，有一种如释重负的快意。
离开伤心地江州，原本想“三年官满却归来”的白居易，却在时隔五年后的公元822年才重回庐山。那一次，他在托付给东林寺和西林寺长老打理的草堂里住了一宿，就到杭州赴任去了，以后再也没有回过庐山草堂。
对于忠州的机会，白居易是无论如何都会争取的，在《入峡次巴东》中，他写道：
“不知远郡何时到，犹喜全家此去同。万里王程三峡外，百年生计一舟中。巫山暮足沾花雨，陇水春多逆浪风。两片红旌数声鼓，使君艛艓上巴东。”
一路上，在忧和喜、焦虑和期待的交杂中，白居易意气风发、踌躇满志。
但是，到任后的失望，迅速把白居易拉回了江州生活甚至长安生活形成的惯性中。