而阳平关久攻不下让汉中的战事陷入了胶着之中，刘晔等人认为合肥若是被攻陷了，那么就意味着豫州的南面门户彻底洞开，孙权一定会趁此机会夺取豫州，威逼许都，所以他们都力劝曹操应当撤兵先以应对孙权北上为主。
面对众人疑虑曹操在思考了整整一夜之后，居然同意撤兵回援合肥。
对此夏侯渊和张郃等将领纷纷表示不理解，夏侯渊更是直接闯入了曹操的中军主帐之中质问退兵的理由，结果被曹操下令格去了军职并处以两百军棍的惩罚。
见夏侯渊这样和曹操亲近的将军都受到了这样的待遇，很多将领都为其鸣不平，认为曹操刻薄寡恩不是个好君主，恰好此时司马懿经过了军帐的时候听到了他们的对话，便掀开了帷帐走了进去：“既然是这样，你们为什么不去投靠张卫呢？”
之后陆陆续续开始有将近数百人的将领和士兵前偷偷离开了曹营前去投靠张卫，他们对张卫说自己是陇上马超的旧部，因马超战败才投降了夏侯渊，现在他们看到曹操是个不可靠的主上，害怕自己日后会因曹操的生性多疑而惨遭遗弃或是杀戮，于是便来投靠张鲁，希望能够谋得一条生路。
张卫也并不是个耳根子软的人，他秘密派人去调查了这些降卒的身世背景，发现果真都是陇上人氏于是便收留了他们，但是仍旧未敢重用，全都集聚的关内由兵马监视。
三天后，曹操见不断有降卒前去投降张卫，他对外宣称为了避免军心动荡所以自己将立刻班师撤军，很快十万大军便撤离了阳平关前线。
见曹操大军果然撤退了，张卫不禁松了一口气，他当夜便写下书信派人送往南郑向张鲁报捷，然而还没有等他的书信写完，阳平关外便忽然出现了震天撼地的喊杀声。
他亲自登上了关隘发现原本应该被曹操撤职查办的夏侯渊，居然率领着八千兵马强攻阳平关，不久关内也杀声四起，那些之前投奔张卫的所谓降卒，居然趁着守军都集中到关前拒敌之时，偷偷烧光了张卫所有的粮草并从内部发起了对张卫的进攻。
没有了粮草又毫无胜算可言，张卫无奈之下只好献关投降。
事后夏侯渊才对众人解释说自己本想闯入帐中阻止曹操撤兵，结果司马懿和曹操却提出了上演这么一出苦肉计来麻痹张卫，于是才有了撤职和军仗这样的戏码。
很快又有斥候传来了消息：
“启禀魏公！张郃将军已经渡过了沔水夺取沮县，现在已经包围了沔阳城！”
原来曹操之前所说的退军不过是让张郃分兵攻打沮县，再绕道沔阳彻底攻占南郑的最后一座屏障，现在一切都如司马懿和曹操所料的那样，张鲁已经没有任何的筹码了。
张鲁闻之阳平关被攻破和沔阳被围的消息后，已然全部失去了抵抗到底的决心，他本想直接向曹操敞开南郑大门屈膝投降，但是阎圃却劝说张鲁应当再抵抗一阵子，这样以来也不失一方诸侯的气节，也会让曹操对他另眼相看。
于是张鲁下令城中所有的财宝全部封藏妥善保管，这也是对曹操所表示出来的诚意，随后自己带着少数人马离开了南郑前往巴中。
曹操进入南郑之后，看到所有的财物都保存完好便觉察到了张鲁的诚意，停止了所有针对汉中的军事行动，并派专人前去巴中慰问以安张鲁之心。
同年九月，司马懿建议曹操对待巴中要继续予以怀柔政策，同时利用张鲁说服巴中真人部落酋帅主动归降，这样以来可以顺势将“三巴”之地囊括手中，之后再派遣一员大将深入巴郡驻守，从战略上切断荆州和益州之间的所有联系和补给，彻底让刘备陷入进退维谷的窘境之中。
依计而行的曹操很快在当月就收到了朴胡、杜蒦和任约三位真人酋帅的降表，曹操将巴郡一分为三，由三人分任太守。
当月，千里之外的合肥战场也捷报频传，张辽在李典和乐进的辅助之下，凭借着自己的果敢指挥以及勇猛作战，在仅有七千人守军的情况下大败孙权的十万大军，并且在之后的逍遥津突袭战之中连破吕蒙、甘宁和凌统等东吴名将，若不是三军死命相护使得孙权有惊无险的跃马断桥，此战张辽几乎可以将孙权逼至死地。
至此孙权第二次大规模对合肥的进攻也宣告失败，蒋济和张辽两次给予孙权的败果让其在之后的十余年内再也不敢正视合肥，确保了曹操东南的长时间安宁。
十一月，张鲁正式携带所有家眷前往南郑向曹操投降，至此汉中已全部落入了曹操之手。
然而在对待如何处理张鲁的问题上曹操陷入了犹豫之中，他心想张鲁在汉中统治多年拥有极高的人望，如果仍旧将其留下来的话可以从一定程度上安定当地的军民之心，但是他害怕自己一旦率军离去之后张鲁是否有复叛的可能性。
他将这个想法告诉了司马懿并征求他的意见，而司马懿已经从曹操的口中听出了退兵之意，便劝谏曹操说：“魏公，现在局势对我们十分有利，刘备刚刚占据蜀地立足未稳，巴郡又向您望风归顺，蜀中的局势必然陷入动荡，您应该趁此良机一举夺取蜀地，没有荆州粮草辎重驰援的刘备必定会陷入孤立无援的境地，到时候只需要派遣徐晃、张郃两位上将分别镇守涪陵和巴东，阻止关羽西进，攻破成都、生擒刘备必然指日可待。”