早就表示支持曹操,因此曹操才对他由猜忌逐渐转为信任。
曹操进封魏王后,升任司马懿为太子中庶子,佐助曹丕。时司马懿“每与大谋,辄有奇策”为曹丕所信任和重用,所以关系一直很好。司马懿还与陈群、吴质、朱铄并称四友。此后,司马懿更是常谋国事,多出奇策。不久,司马懿转为丞相军司马。他指出荆州刺史胡修粗暴,南乡(治南乡,今河南淅川东南)太守傅方骄奢,都不应驻守边防,曹操未予重视。
同年六月,刘备继取汉中后,派孟达、刘封攻占汉中郡东部的房陵、上庸等地,势力有所扩展。七月,孙权欲攻合肥,魏军大部调动淮南防备吴军。镇守荆州的蜀前将军关羽,乘此机会,留南郡(治江陵,今湖北江陵)太守糜芳守江陵,将军傅士仁守公安(今湖北公安西北),自率主力北攻荆襄(魏荆州治新野,今河南新野;襄阳郡治襄阳,今湖北襄樊)。围魏将曹仁,水淹于禁七军,斩庞德。时樊城守军仅数千人,城墙因水淹多处崩塌,曹仁曾考虑放弃樊城,被辅助曹仁的汝南太守满宠所劝止。曹仁决心奋勇抵御。胡、傅二人果然乘机降蜀。此时,陆浑(今河南嵩县东北)人孙狼等,亦杀官起兵,响应关羽。关羽声势一时“威震华夏”
当时都城在许昌,距樊城很近,曹操感到威胁,为避关羽锋芒,一度准备迁都河北。司马懿和曹椽蒋济及时劝阻:“禁等为水所没,非战守之所失,于国家大计未有所损,而便迁都,既示敌以弱,又淮沔之人大不安矣。孙权、刘备,外亲内疏,羽之得意,权所不愿也。可喻权所,令掎其后,则樊围自解”曹操从其计,孙权果然派吕蒙袭取江陵,关羽被其俘杀。
此战的胜利,曹操利用孙、刘争夺荆州的矛盾,充分运用外交谋略,坐收渔利,不仅挫败关羽的强大攻势,解除了樊城之围,而且也使诸葛亮原定的一路向宛洛、一路出秦川的两面钳击中原的计划无法实现。更重要的是破坏孙、刘联盟,改变了当时的战略格局,掌握了主动权。
徐晃击退关羽后,曹操嫌恶荆州及附近百姓,想把他们都迁走。司马懿认为:“荆楚轻脱,易动难安。关羽新破,诸为恶者藏窜观望。今徙其善者,既伤其意,将令去者不敢复还”曹操从之,没有移民。藏窜逃亡者果然都复出归化。
延康元年(220年),曹操去世,朝野危惧,司马懿管理丧葬诸事,内外肃然。
同年,曹丕即魏王位,司马懿受封河津亭侯,转丞相长史。
时孙权率军向西。朝臣认为樊城、襄阳缺乏粮,不能抵御吴军,请召守将曹仁回驻宛城。司马懿则认为不该放弃二城:“孙权新破关羽,此其欲自结之时也,必不敢为患。襄阳水陆之冲,御寇要害,不可弃也”曹丕未依其言,命曹仁放火烧毁二城。后来孙权果然没有入侵。曹丕悔之不及。
同年,曹丕登皇帝位,史称魏文帝。由于司马懿为曹丕“篡汉”出了大力,所以登基后,曹丕任命司马懿为尚书,不久转督军、御史中丞,封安国乡侯。
黄初二年(221年),免去督军官职,升任侍中、尚书右仆射。
黄初三年(222年),和黄初五年(224年),曹丕两次伐吴,都以司马懿镇守许昌,并改封司马懿为向乡侯。黄初六年(225年)春二月,转任抚军大将军、假节,领兵五千,加给事中、录尚书事。司马懿辞让,曹丕说:“吾于庶事,以夜继昼,无须臾宁息。此非以为荣,乃分忧耳”
同年,曹丕又大兴水军攻吴,仍命司马懿留守“内镇百姓,外供军资”临行,下诏书给司马懿说:“吾深以后事为念,故以委卿。曹参虽有战功,而萧何为重。使吾无西顾之忧,不亦可乎”!后曹丕由广陵回师洛阳,又下诏对司马懿说:“吾东,抚军当总西事;吾西,抚军当总东事”于是司马懿留镇许昌。”