建安十八年（213年）正月，从征孙权，攻濡须。后来，曹军攻破孙权江西营，擒获孙权都督公孙阳。因为春水上涨，曹操在慨叹孙权军队的军容齐肃之后，便撤兵。
建安十九年（214年）五月，孙权亲征皖城，张辽从合肥向皖城驰援，在增援途中得知皖城失守。张辽在硖石的南面迅速筑起了一座被称为“南硖戍”的堡垒，作为合肥的前哨。
同年七月，曹操征伐孙权。同年十月，曹操无功而返，自合肥还。曹操在离开合肥时，带走了大批部队欲作西征之用，给屯驻合肥的张辽与乐进、李典等将领只留下了七千余人。张辽得知曹操有西征之意，认为合肥即将孤立无援，孙权必会趁机来攻，于是开凿了藏舟浦，用来隐藏舟船。
建安二十年（215年），曹操率领重兵西征张鲁，让护军薛悌送去一封信函，信函边还写明，要在有敌人来攻时再打开来看。
建安二十年（215年）八月，东吴之主孙权率领十万大军进围合肥，张辽与诸将打开信，信中说：“若孙权军来到，张、李将军出战；乐将军守，护军不得与战。”合肥诸将们都感到疑虑。张辽根据曹操远征汉中而合肥缺乏后援的现状，做出了分析，提出在合肥城还没有被孙权大军完成合围之前，率先出击，“折其盛势，以安众心”，然后就可以守住城池。张辽此番分析消除了诸将的疑惑。李典也对张辽所说的话表示赞同。
于是，张辽在当夜募集敢于出城迎战的精锐将士八百人，开剥牛肉赏给将士饱食，准备明日大战。[72]天色刚亮，张辽披甲持戟，亲自先登直陷敌阵，撕裂了东吴军队的防线。在他率军冲入东吴的营垒之前，张辽就已经亲自斩杀了数十名东吴士卒和两名东吴将领。他一边大声呼喊着自己的名号，一边登锋陷阵[73]，冲入东吴的营垒。此后，张辽率军继续猛攻，一直冲杀到孙权的主帅旗之下。孙权见状大惊，东吴众将士也因惊慌失措而不知道该如何应付，于是，孙权等人逃跑到一座较高的山冢上，用长戟来自卫。张辽见敌方主帅退避，便叱喝孙权，挑衅他下来对战。但孙权没有轻举妄动，随后孙权发现张辽所率领的士兵非常少，于是聚拢东吴军队将张辽的部队重重包围。张辽的军队分别向左向右驱逐围兵，然后径直向前实施“急击”，将东吴的包围圈打开。在战斗中期，张辽曾经带领着中期破围的几十人突出了重围，没能冲出重围的人们大声呼喊：“将军要舍弃我们吗？”于是，张辽带领着中期破围的几十人，又杀入了重围，去救援的馀众几百人。孙权军队皆望风披靡，没有人再敢抵挡张辽了，也被称为“权众破走”。
这次战斗，双方从凌晨战到中午，吴军士气全失，回军修整守备，合肥守军的军心因为首战大胜而安定了下来，李典、乐进等合肥诸将们都对张辽表示心服口服。
对于这场发生在合肥被围城时的战斗，《三国志》记载“孙权围合肥，张辽、李典击破之”，《魏书》记载“孙权率十万众围合肥，辽募其敢死者八百人，登锋陷阵，大破之”，《魏略》记载“张辽为孙权所围，辽溃围出，复入，权众破走”。
《三国志》的陈武本传、潘璋本传、贺齐本传，三篇本传皆无彻军，皆无津北，所涉人员皆被甘宁本传的“唯”字排除在津北之外，可知，《三国志》贺齐本传与《江表传》贺齐篇发生在合肥战役的不同时间段，发生在合肥境内的不同地点，东吴猛将陈武是战死在这场发生于围城时的战斗中。
而后，孙权率军守在合肥地区十余日，认识到不可能夺取合肥城了，于是退兵。张辽率领诸军乘势追击，几乎再次捉住孙权。同时，张辽又统筹了战局，准确预估了孙权的逃生路线，并分兵绕过东吴军队进行毁桥。而孙权与甘宁蹴马趋津，又有谷利鞭马助势，才得以跃过断桥，死里逃生。张辽因为不知道孙权的相貌而错失了活捉孙权的机会。曹军士兵听说此事都表示叹息悔恨。曹操得知此战，对张辽的表现大加赞许，并拜张辽为征东将军。当时，曹魏军队的主力远在汉中，而曹魏江淮一带的兵力则非常空虚，无法派遣援兵。正是所谓的：“公远征在外，比救至，彼破我必矣”。因此，曹操非常看重张辽在此战中立下重大功劳，史载“太祖大壮辽”，“大壮”两字在《三国志》里仅用过两次，分别是在《张辽传》、《徐盛传》，可见分量之重。
此役之后，若江东小儿啼哭不止，其父母只要吓唬说：“张辽来了，张辽来了！”孩童就不敢再哭泣了。
建安二十一年（216年），曹操再征孙权。到合肥后，曹操循行视察昔日张辽作战的地方，赞叹良久。于是，给张辽增兵，多留诸军，迁徙去居巢屯驻。
建安二十一年（216年）冬季，曹军抵达居巢，开始进攻濡须。建安二十二年（217年）正月，曹操大军在居巢集结完毕，并在二月全线猛攻濡须，迫使孙权退走。三月，孙权又派遣徐详向曹操请降。曹操回师，留夏侯惇、曹仁、张辽等屯居巢。
建安二十四年（219年），关羽围曹仁于樊城，适时孙权称藩于魏，为了让孙权安心攻打荆州，于是曹操召张辽及诸军悉数回救曹仁。张辽素来知晓曹操的用意，虽然他收到诏令较晚，但向樊城的进军速度却很快。而张辽尚未到达，徐晃就已经打败关羽。张辽便与曹操会师摩陂，曹操乘车出来慰劳他，并派他屯于陈郡。
转官晋爵
建安二十五年（220年），曹操去世，曹丕即位魏王，张辽转任为前将军，又分封其兄张汛（或作“张泛”）及一子列侯。同时，赐给张辽的帛多达千匹，谷多达万斛。
不久，孙权再叛变。张辽还屯合肥，并进爵都乡侯。曹丕赐舆车予其母以示荣宠，并派遣兵马送其家人到他驻军的地方，又派遣向导们预先在各地张贴告示，宣告张辽的家人将要到临，指引着大家出迎。张辽“所督诸军”的将士官吏们都罗列在道路两侧，拜迎张辽的家人。看见此景的人们都认为这是十分荣耀的事。
同年，曹丕称帝，再封张辽为晋阳侯，增邑千户，并前二千六百户。
黄初二年（221年），张辽到洛阳皇宫朝拜，曹丕便引张辽会晤于建始殿，亲问其昔日破吴时的情状。张辽述说过后，曹丕向左右叹息道：“简直是古代的召虎啊。（召虎，即召穆公，是与方叔、尹吉甫、南仲等齐名的西周大将。他曾平定淮夷，所以被曹丕借作比喻。）”于是，曹丕下令为张辽建造屋舍，替其母兴建殿室，当年跟从张辽突破吴军阵线、直冲孙权帅旗而临时应募的一众步卒，都被封虎贲。
病逝江都
黄初三年（222年），孙权再次向曹魏称臣。张辽奉命还屯雍丘，却在此得病。曹丕遣侍中刘晔带著太医审视其疾。众多的虎贲勇士们询问张辽的病情，人来人往，以至于在道路上互相遇见。梁章巨《三国志旁证》中提到“汉三公病，遣中黄门问病。魏、晋则黄门郎，尤重者或侍中。（张）辽位未至公，而遣侍中，盖宠之也。”可见曹丕如何重视张辽。