天宝十四载（755年）十一月，果然不出李白所料，安禄山公然反叛，起兵范阳（今北京），河北诸郡及东都洛阳，纷纷陷落。
李白闻此，急忙由江南赶回梁园家中，接家人到吴地。
吴王李只此时为东平（今属山东省）太守，安禄山谋反后，李只募兵拒战，累迁陈留（今河南开封）太守，持节河南道节度采访使，历太仆卿、宗正卿。
至德元载（756年），肃宗即位灵武（今属宁夏），吴王李只奉诏赴行在，迂道入吴，将由水路上溯荆襄，转趋商洛，以至灵武。
李白在吴途遇李只，为之代作《为吴王谢责赴行在迟滞表》。因为吴王赴行在任职，因病于途中，迟滞淹留，不能按时到职。此表乃是李白代吴王李只所起草的表章，向肃宗上陈不能如期到任之原由。
至德元载（756年）春，李白带着宗氏夫人离开宣城，北上当涂、溧阳，计划到剡中（今浙江省嵊州）避难。中途又改变主意，又一次来到了适合休憩疗养、能为他抚慰心灵的庐山，隐居于屏风叠。屏风叠南修行的女真人李腾空，正是是宗氏的师父。
屏风叠在五老峰西侧，山连山，相连十余里，绵延如屏，是一个僻静幽谷。李白在此筑起“太白读书堂。”
以五老为邻，以云松作伴，自然十分惬意。《文心雕龙·神思》云：“登山则情满于山，观海则意溢于海”，李白感谢自然造化，为他在人生长途跋涉中安排了这个仙境般的暂歇住所。
这是李白第三次到庐山，他是真的想把庐山当作后半生的栖居地。
李白和宗氏夫人在庐山居住长达半年之久，其间写下《赠王判官时余归隐居庐山屏风叠》：
“昔别黄鹤楼，蹉跎淮海秋。俱飘零落叶，各散洞庭流。中年不相见，蹭蹬游吴越。何处我思君？天台绿萝月。会稽风月好，却绕剡溪回。云山海上出，人物镜中来。一度浙江北，十年醉楚台。荆门倒屈宋，梁苑倾邹枚。苦笑我夸诞，知音安在哉？大盗割鸿沟，如风扫秋叶。吾非济代人，且隐屏风叠。中夜天中望，忆君思见君。明朝拂衣去，永与海鸥群。”
李白此诗，实际上是对自己的前半生作了一个总结，并表达了当此国家危急存亡之秋，自己却无从用力的悲愤失望情绪。李白虽在庐山避难，仍有一颗爱国之心，无可奈何中，还存有对国家山河施展抱负的向往。
就在李白隐居庐山不久，唐玄宗之子永王李璘，时任镇守江陵的四道节度使，向李白发出了盛情邀请。
李璘的幕僚三次上山来代表李璘聘请李白，第三次的聘使是韦子春。
李白在《赠韦秘书子春》诗中说：
“气同万里合，访我来琼都。
披云睹青天，门虱话良图。
留候将绮季，出处未云殊。
缍安社稷，功成去五湖。”
“琼都”即指庐山。李白引用一个历史典故，故韦子春比作张良，把自己比作商山四皓中的绮里季。为了保卫汉惠帝，是张良建议把深居商山的四皓请下山来的。如今，韦子春又再三声言永王之师以抗胡平乱为宗旨，所以李白觉得“辟书三至，人轻礼重，严期迫切，难以固辞。”他盼望着能借此为祖国贡献自己的才智和力量。
这年十二月，李白兴冲冲地离开庐山，踏上永王的楼船，自浔阳东去金陵。他安排宗氏夫人，到章郡（今江西南昌）安家，等待他功成归来。
临行前，李白曾作《内赴征三首》。
其一
王命三征去未还，明朝离别出吴关。
白玉高楼看不见，相思须上望夫山。
其二
出门妻子强牵衣，问我西行几日归？
归时倘佩黄金印，莫学苏秦不下机。
其三
翡翠为楼金作梯，谁人独宿倚门啼？
夜坐寒灯连晓月，行行泪尽楚关西。
这三首诗说的是与妻子宗氏分别的情形，妻子不舍和担忧，也让李白有些不忍。他想着以后妻子对自己的思念，想着自己将会建立像苏秦佩六国相印一样的功业。
李白积极用世之心一直未变，安史之乱爆发前就抱着“思欲解世纷”的愿望，去谒见过哥舒翰，希望能入其幕中，惜未见用。永王的三次征召，李白终于未能忍住。
李白激奋之情喷洒在诗句中间：“永王正月东出师”，“云旗猎猎过浔阳”，“但用东山谢安石，为君谈笑静胡沙。”他以东晋大破前秦苻坚百万众的宰臣谢安自喻，渴望辅佐永王荡平荡乱，维护祖国的安定统一。
《在水军宴赠幕府诸侍御》是李白所作的一首五言古诗。全诗结构严谨，层次清晰，从大处着眼，最后落到具体景象上，诗中以叙述为主，先叙安史之乱爆发及其叛乱的主要过程，次述永王的率军平乱的功绩，再叙写当时国家局势与赞美诸侍御的清正严明；最后表明诗人渴望为平定叛乱贡献出一切力量，并勉励幕府诸侍御同心平叛、报效国家，表现出诗人的爱国思想和理想抱负。
李白怀着消灭叛乱、恢复国家统一的志愿应邀入永王李璘幕府。在李白看来，天下乱局已现，唐朝将被割据。因此，他赞同永王攻占金陵，在江南立足，便于称帝。他随李璘军队一路东下，其间写下了《永王东巡歌》十一首。
虽然这些诗歌才气纵横、意气风发，但它们后来却成为李白附逆的罪证。
即位不久的唐肃宗发现李璘的目标并非是安禄山的叛军，他不允许手握南方兵权的永王与自己分庭抗礼。至德二年初，肃宗下诏，命令永王回蜀中，永王拒绝，兄弟之间的战争一触即发。
最终，永王战败被捕。军心涣散，死的死，走的走，李白也一气逃到江西彭泽。
“过江誓流水，志在清中原，拔剑击前往柱，悲歌难重论。”
这是李白南奔途中留下的诗篇，此时此地，他自身难保还念念不忘“清中原”之志。
可是，附逆的罪名却已经如同阴影一般跟在李白身后。不久，他便被拘捕，囚于浔阳狱中。对于这个天才诗人来说，这是一个巨大的打击和摧残。而更具有讽刺意味的是，囚禁他的地方，正是在庐山脚下的浔阳。
当李白看到庐山的时候，有一丝后悔：如果当时能够一直隐居在那里，自己的人生就不会有此一劫吧？