杨昭始终是横在她和皇帝心间的一根刺，她对合谋杀死杨昭的人难以释怀，皇帝也不愿重用杨昭亲党。同为奉宝册传位的宰相，房琯受到皇帝重用，韦见素就因攀附杨昭，到顺化后不久便被罢相，迁左仆射，后又迁太子少师。
菡玉讪讪笑道：“也是，小弟能力低微，非经天纬地之才，做做大哥的帮手还行，一个人确难独当一面。”
李泌知道她是故意顾左右而言他，只是叹气。
菡玉又道：“不过，如果日后又有异动，希望大哥还能重出山林。”
李泌道：“这自不必说，以陛下对我的恩情，于国于私，我都会来助力。”
正说着，门外突然传来鼎沸人声，竟是皇帝听闻攻下洛阳，喜不自胜，亲自赶到元帅府来。一进门，不等众臣行礼，皇帝便急冲冲握住李泌的手，连声问：“先生，广平真的克复东京、尽歼逆党十万大军？可有斩获安庆绪首级？”
李泌回道：“安庆绪逃窜至河北，部属仅有千百，如令广平王乘机追伐，相信不日便可斩其首献于阙下。”
皇帝道：“穷寇莫追，如今他也是丧家之犬了，何足为惧！洛阳易攻难守，还是让广平率大军镇守，以免再生枝节。”拉着李泌坐下，遣退众人，笑道：“吾家得归，皆卿之力也。我已上表请求上皇回京，我当归还帝位，回东宫重修臣子之职。”
李泌站起身：“表书可还来得及追回？”
皇帝道：“刚刚派人送出的，应未远。怎么？”
李泌道：“请陛下立即下旨追回此表，不然，上皇将不会回来了。”
皇帝问：“表书有何不妥？我若不说让位，上皇怎么能回来？”
李泌道：“正是因为陛下要让位，上皇才不肯回来。”
皇帝想了一想，即令内侍遣人快马追回表书，又问：“那以先生之见，该怎么办好呢？”
李泌道：“陛下可以重新写一封群臣贺表，就说自从马嵬请留、灵武即位，到今日克复两京，陛下时刻思念上皇，请上皇速返京城，使陛下尽孝养之心即可。”
皇帝思忖片刻，叹道：“初时我的确是想还政于上皇，今闻先生之言，始悟其失。那便按先生说的，改上群臣表吧。”当即命李泌草拟群臣表。李泌口述，菡玉执笔，片刻挥就。皇帝看后，又略作修改，重新誊写一份，立即命随驾在旁的中使李辅国奉表书入蜀。
李辅国接过表书，瞄一眼李泌道：“陛下，臣掌管宫禁符契和宫门钥匙，此去西蜀少说也要十天半月，符钥岂可无人掌管。除长史之外，不管交予何人臣都难以放心。”
皇帝道：“那就先由先生摄管几日吧。”
李泌上前谢道：“宫禁符钥关系陛下安危，一向由大官管理，仓促交付他人，恐生疏漏。况且臣已准备和师弟一起回归乡里，难以尽责了。”
皇帝吃了一惊：“怎么先生你要走？！还有吉卿？”
菡玉也上前对皇帝一拜：“臣与兄长志同。师兄已助陛下收回两京，报德足矣，愿复为山水闲人。”
皇帝拉住李泌急道：“我与先生经年共患难，现在终于到了可以同享太平之时，先生怎么反而要离我而去？”
李泌跪下拜道：“臣有五不可留，请陛下容臣归隐，免臣一死！”
皇帝连忙扶他起来：“先生何出此言？何为五不可留？”
李泌回道：“臣幼年即与陛下相识，是遇陛下太早；陛下全心以待，不分君臣，是宠臣太深；臣以布衣入朝，陛下委以军国，是任臣太重；臣无旧勋、无族党而遽挽狂澜，是功太高；山人隐士得居中流，是迹太奇。此臣所以不可留也。”
皇帝听后少顷沉默，转而对李辅国道：“卿身负宫禁重任，不可遽离吾左右。蜀道艰难，另遣青壮者前去吧。此事就交由你安排。”
李辅国拜道：“多谢陛下爱护。”奉表而去。
皇帝这才问李泌：“先生是因为我没有听从你北伐范阳之计，所以才要走的吗？”
李泌也直言道：“不瞒陛下，臣是贪生怕死，只求急流勇退，明哲保身而已。”
皇帝道：“先生这么说，是把我当那越王勾践，鸟尽弓藏、兔死狗烹么？”
李泌道：“臣知陛下待臣以诚，方敢求归。杀臣者非陛下，乃‘五不可’也。危难之际陛下如此对臣，臣犹有不敢言者，何况太平时日。”
皇帝道：“先生有何不敢对我直言的？”
李泌道：“陛下答应臣离朝归山之后，臣自当直言；否则，臣仍以保命为先。”
皇帝思虑良久，方道：“也罢，先前我就和先生约定好了，平乱之后，任凭先生自行高志。我答应你就是，但请先生明言，我有何过失？”
李泌道：“是建宁王。”
皇帝转过身去叹道：“建宁是不可多得之才，艰难时有功，我也都知道。但他图谋加害兄长，欲乱宗嗣，我为社稷大计，不得已而除之。此事我的确有不是之处，但既往不咎，希望先生不要因此对我生隙。”
李泌道：“臣并非纠缠于陛下以前的过失，而是希望陛下将来慎行。昔日则天皇后鸩杀太子弘，雍王贤作《黄瓜台辞》曰：种瓜黄台下，瓜熟子离离：一摘使瓜好，再摘使瓜稀，三摘犹为可，四摘抱蔓归。现在陛下已经一摘了，希望不会再摘。”