公元1129年二月初五日晚，赵构从镇江起驾往杭州，经过四天四夜火急火燎的急行军，到达平江府（江苏苏州）。在平江，赵构歇了一口气，布置了一下沿途防御体系。让尚书右丞朱胜非节制平江府、秀州（浙江嘉兴）两地军马，张浚为副手协助。
为了加强防御，赵构还留下御营都统制王渊率军守平江府，同时让朱胜非兼任御营副使，这样一来王渊也必须接受朱胜非节制，避免指挥上的不统一。
平江、秀州是扬州通往杭州的咽喉，必须用自己信得过的人镇守才放心啊！几天前，天长军的朱琳一投降，金军一眨眼就杀到了扬州，教训太深刻了！
赵构接着赶路，出发前，朱胜非献了一策：录用张邦昌的亲属为官，恢复张邦昌部分名誉。并派合门祗候刘俊民携带张邦昌以前遗留下来和金人的“和谈书稿”出使金军，为什么唱这一出戏？这是向金人示好的举动，张邦昌曾被金国立为皇帝，现在你南宋朝廷将张邦昌杀了，怎么个意思？就没有所表示？所以有此一举。
过了两天，赵构等人到达崇德（浙江桐乡），鉴于在扬州吃了大亏，对于前面的布置，赵构还是觉得安全指数不高，当时吕颐浩跟随在身边，赵构又派吕颐浩率两千人回镇江京口驻守，京口在长江南岸，扬州触手可及，驻扎京口风险系数极高，有风险无待遇，谁愿卖命？为了安慰吕颐浩，赵构让他担任同签书枢密院事、江淮两浙制置使。
为了再加一道防火墙，赵构派遣吕颐浩的同时，命御营统制张俊（注意，此'张俊'非彼'张浚'）率军八千退到平江府下辖县吴江驻守。
二月十三日，赵构好不容易抵达杭州，将杭州府衙作为行宫。安顿下来后，赵构痛定思痛，总结经验教顺，采取了几项措施：一是向臣民下了罪己诏！罪己诏就是皇帝检讨书，皇帝做检讨，虽然比较难得，却纯属糊弄人的伎俩，可毕竟是脸面掉色的事儿，一般不到万不得已，打死也不会干的。此前赵佶也做过，结果却是亡国！
二是向臣民征求直言。
三是赦免除了死罪以外的罪行，曾经遭贬发配流放的官员士大夫，全部赦免召回。可是又听从黄潜善的撺掇，唯独不赦免李纲，为什么呢？李纲主张抗金，给李纲定罪，还是为了讨好金人！
为了讨好金人，赵构想尽了办法，最直接有效的，当然还是求和。为此，赵构陆续派遣使者到粘没喝的大元帅府，让使者带信给粘没喝，请他手下留情，保存赵氏江山！
起初，赵构的抬头称呼，是“大宋皇帝构致书大金元帅帐前”，粘没喝一看赵构自称为皇帝，十分不爽，严厉指责，来来往往几次，赵构势不如人，只得低三下四、忍气吞声，贬去大号，自称“宋康王赵构谨致书元帅阁下”，粘没喝这才满意，提笔回书。
赵构拿到回书一看，又气得几乎要呕血，因为粘没喝什么都没答应，就是要求他投降，赵构见议和无望，只得强打精神迎敌。
二月十九日，金军前锋马五，将扬州焚毁退出。吕颐浩在对岸京口，听闻金军撤走，忙派部将李彦率军渡过长江，袭击驻扎在扬州的部分金军，将扬州收复了。
二十日，黄潜善、汪伯彦被罢免宰相职务！两人遭罢免，起因是御史中丞张澂上疏，弹劾两人有大罪二十条，致使皇帝蒙尘，天下怨恨，请赵构严厉惩处！
赵构原来相信两人鬼话，没有提前渡江，结果虽没被金军擒获，却让重要部位疲软不堪，心中难免气闷；而两人从扬州逃出后，又不和中央保持一致，却单独先跑到了杭州避难，心中哪有君父？加上两人才能确实堪忧，种种因素一叠加，赵构也有罢除他们的想法，但又不想太伤和气，因此将张澂的奏章转给黄潜善、汪伯彦，让他们两人自己看着办，实际暗示他们自动退职，保全脸面。
没想到两人的脸面比牛皮还厚实，舍不得宰相宝座，上疏说，现在正是艰难险阻之时，不敢请求退职。
殿中侍御史王庭秀、郑珏也上疏，说黄潜善、汪伯彦窃居权柄，残害忠良，祸国殃民，罪不可赦。
赵构见黄、汪两人不自觉，只好亲自动手，下诏贬两人为观文殿大学士，黄潜善知江宁府，汪伯彦知洪州。
这个结果，很多大臣颇不满意。
谏官袁植上疏说，黄潜善为相两年，排斥前宰相李纲，阻扰帅才宗泽，贬黜御史马伸，驱逐内侍邵成章，杀害太学生陈东及爱国人士欧阳澈，以致酿成现在的弥天大祸，黄潜善罪不可恕，请求将黄潜善斩首示众，赵构念及旧情，没有同意。
佐料：黄潜善和汪伯彦都是《宋史》所列奸臣。黄潜善，福建邵武人，公元1100年进士，公元1130年病死，五十三岁；汪伯彦安徽祁门人，公元1103年进士，公元1141年病死，七十三岁。
汪伯彦中进士时已经三十五岁，起步比较晚，他还有一个身份，是秦桧的老师。老师是奸臣，学生是大奸臣，青出于蓝胜于蓝，得了真传！
《宋人轶事汇编》卷二十九载，汪伯彦中进士后补大名府幕僚，被委任修缮大名城北京宫殿，前后五年才完工。汪伯彦每过一年，自己上奏一次功劳。他报一次功，便被朝廷升一次官，五年间，从宣教郎转迁为中奉大夫。可见汪伯彦的奸诈手段
这个结果，很多大臣颇不满意。