宰相王曾与吕夷简意见不合，多次发生争执。王曾无法忍受，直斥吕夷简“纳赂市恩”。吕夷简请求在仁宗面前对答，但当仁宗询问王曾的理由时，王曾却语屈，二人于是一同被罢相。吕夷简以镇安军节度使、同平章事之衔出判许州，又改任天雄军节度使。不久后，又带右仆射衔入朝拜相。一年多后，进位司空。吕夷简推辞不接受，被改封为许国公。当时正整顿兵备，仁宗授吕夷简为判枢密院事，但谏官田况认为言“总判”之名太重，于是改为兼枢密使。

庆历二年（1042年），契丹在燕云一带集结重兵，声言要伺机南侵。消息传至东京，有人主张迁都洛阳。吕夷简认为，如果迁都洛阳，使契丹不加抵抗渡过黄河。那时，城池再坚固，也难阻挡敌人的进攻。契丹“畏壮侮怯”，如果匆忙迁都洛阳，是向敌人示弱。应该建都大名，表现出仁宗要亲征的决心，这样才能挫败契丹南侵的图谋。仁宗采纳了吕夷简的主张，于当年五月就改称大名府为“北京”。

庆历二年（1042年），吕夷简因风眩病倒，仁宗改拜他为司空、平章军国重事。等到吕夷简病情稍有好转时，又让他每隔数日到中书一次，裁决军国大事。并剪下自己的胡子送给吕夷简，说：“古人说胡须可以治病，朕现在剪下胡须赐给您，希望您早日康复。”吕夷简荐富弼等数人可堪重用，借此再度请辞，但仁宗进拜他为司徒，仍不准其辞职。

庆历三年（1043年）春，吕夷简病重。仁宗召见了他，不让他下拜，扶他坐在自己面前。希望他在身体许可的情况下多多过问朝政。吕夷简再三辞让，仁宗允他以太尉致仕。

不久，吕夷简病故，享年六十六岁。讣闻传入朝中时，宰臣正在向仁宗奏事，仁宗悲哭道：“安得忧国忘身如夷简者。”旋即在禁苑中为其服丧发哀，并辍朝三日，下令有关恤典从优，追赠太师、中书令，赐谥号为“文靖”。后仁宗追念吕夷简，遂御书赐吕夷简碑额为“怀忠”。

宋英宗嘉祐八年（1063年），吕夷简与王曾、曹玮得以配享宋仁宗庙庭。宋理宗宝庆二年（1226年），理宗图二十四功臣神像于昭勋阁，吕夷简位列其中，为昭勋阁二十四功臣之一。

吕夷简在处理宋与辽、夏关系，巩固边防方面卓有贡献。他任用范仲淹用兵西夏，派名臣出使辽邦，与两国达成和议，实现了和平，保护了国内安定的社会环境，这是具有积极意义的。但在上述关系的处理上，吕夷简对辽夏让步太多，岁输银两、锦帛过巨，加重了国内财政负担，这是应当指出的。

在用人上，吕夷简对反对他的人不够宽容。这些人物常常被他贬往远方任职，如孔道辅、范仲淹等。欧阳修批评吕夷简“二十年间坏了天下。其在位之日，专夺国权，胁制中外，人皆畏之”。实际上，吕夷简对真正有才干的官员还是能够重用的。常常一面薄惩示威，一面使用，充分发挥他们的才能。故史家称他：“于天下事屈伸舒卷、动有操术。”

赵恒：“观卿奏，有为国爱民之心矣。”

郭皇后：“夷简独不附太后邪？但多机巧、善应变耳。”

赵祯：“安得忧国忘身如夷简者！”

王珪：“聪明亮达，规模宏远。服在大僚，历登三事，左右皇极，勤劳王家，二十余年，厥功茂焉。”

张方平：“皇宋受命，光宅天下，唯上帝顾保，世赉良弼。在太宗朝，有若吕文穆公蒙正，率循大卞，乂宁王家，克左右、乱四方，以底绥大业。圣上缵服，有若元宰太尉许公，寅亮一德，谟明修辅，答扬祖宗之猷训，以缉熙于光明，此所以持盈保成，重雍累洽，隆无疆之基者也。”

李焘：“自上初立，太后临朝十馀年，内外无间，天下晏然，夷简之功为多。其后元昊反，四方久不用兵，师出数败，契丹乘之，遣使求关南地，颇赖夷简计画，选一时有名之臣，报契丹、经略西夏，二边以宁。然建募万胜军，杂市井小人，浮脆不任战斗，用宗室补环卫官，骤增俸赐，又加遗契丹岁金缯二十万，当时不深计之，至于后世费大而不可止。夷简当国柄最久，虽数为言者所诋，帝眷倚不衰。然所斥士，旋复收用，亦不终废。其于天下事，屈伸舒卷，动有操术。后卒配食庙庭，为世名相。”

叶适：

王称：

赵与时：“吕文靖之老也，以司徒监修国史，兼译经润文使，每有军国大事，与中书、门下、枢密院同议以闻。正献之老也，复以司空同平章军国事。曾令绰之为签书，宣靖犹康宁，遂就养东府。士林尤以二家为盛事。”

吕中：

王应麟：“吕文靖为相，非无一疵可议，子为名相，而扬其父之美。”

脱脱：“吕夷简、张士逊皆以儒学起家，列位辅弼。仁宗之世，天下承平，因时制宜，济以宽厚，相臣预有力焉。士逊练习民事，风迹可纪，而依违曹利用以取讥。方夷简在下僚，诸父蒙正以宰相才期之。及其为相，深谋远虑，有古大臣之度焉。在位日久，颇务收恩避怨，以固权利，郭后之废，遂成其君之过举，咎莫大焉。虽然，吕氏更执国政，三世四人，世家之盛，则未之有也。”

邵经邦：“愚观吕许公，不惟文穆知之，王文正亦知之。观其一言之决，虽筮龟不如，正所谓技茅连茹，以其汇征吉者也。”

冯梦龙：“杀一监军，他监军故在也；自我罢之，异日有失事，彼借为口实，不若使自请罢之为便。文穆称其有宰相才，良然。惜其有才而无度，如忌富弼，忌李迪，皆中之以小人之智，方之古大臣，邈矣！”

王夫之：“宋仁宗，贤主也，吕夷简、夏竦，非大奸也，相激以争，而石介以诗受所棺之僇。”

恽毓鼎：“宋代宫闱之事，大臣皆得与闻。如王文正、吕正惠、吕文靖，遇大事极能匡正。”

有一次，宋仁宗患病，很久没有上朝。有一天病愈，想见执政的大臣，坐便殿，急着召见中书省和枢密院。吕夷简接到诏令后，过了一段时间才动身，同行的枢密赞公快步行走，吕夷简却安步当车。见到仁宗以后，仁宗说：“久病刚愈，很高兴和你们见面，可为何姗姗来迟呀？”吕夷简不慌不忙的奏道：“陛下身体不适，天下人都很忧虑，一旦忽然召见左右亲近的臣子，臣等如果急速前来晋见，恐怕会惊动很多人。”仁宗认为他作为辅政大臣的表现很得体。

三川口之战后，大将刘平战死。议论该事的人认为朝廷委任宦官监军，使主帅无权调配军队，才导致刘平失利。仁宗下诏诛杀刘平的监军黄德和。有人请求罢免其他部队的监军。仁宗就此事询问吕夷简的意见，吕夷简说：“不需罢除，只要选忠厚谨慎的人去担任即可。”仁宗让吕夷简去选，吕夷简说：“臣以宰相的身份，不应当与宦官交往，怎知他们贤明与否？希望陛下令都知、押班，举出不称职的监军来问罪。”仁宗依此而行。第二日，都知、押班都来叩头，请求罢除监军宦官。士大夫们都赞许吕夷简有计谋。

李迪与吕夷简同任宰相，李迪的谋划，曾让吕夷简自觉不如。有人对吕夷简说：“李迪的儿子李柬之考虑事情更胜过他的父亲。”吕夷简就告诉李迪：“令郎柬之的才智可以好好利重。”于是禀奏仁宗，命李柬之为两浙提刑，李迪父子都很高兴。李柬之赴任以后，凡事不能再提醒李迪，李迪年老健忘，因此被免除宰相之职。到这时，李迪才发现自己中了吕夷简的计谋。

庆历年间，名士石介作《庆历圣德颂》，对当朝的人批评得很严厉，尤其对于夏竦更是诋毁斥责。不久，朝中发生党争，石介因罪免职，回乡不久后病逝。这时，山东有一个举人孔直温谋反，有人说孔直温曾是石介的学生，于是夏竦就说石介实际上没有死，逃到辽朝去了。仁宗就下诏限制石介之子的行动，又派出中使，连同京东路的官员挖开石介的棺材，以验明真假。当时吕夷简任京东转运使，对使者说：“如果打开棺材发现是空的，表示石介果真逃到北方，这样虽然杀他儿子也不为过；但万一石介真的死了，朝廷无故挖开人家的坟墓，要如何对后世交代呢？”使者说：“但是又如何复旨呢？”吕夷简说：“石介去世后，一定有为他办理殡验的人，且内外亲族和参加丧礼的门生恐怕不下数百人，你都发公文去询问他们，如果没有不同的说法，就命令他们写下保证书，保证不说实话要依军令处罚，这样就可以对皇上交代了。”使者照他的话奏报仁宗，仁宗明白这是夏竦的诞陷之词，不久便降旨，释放石介的妻子儿女回乡。

吕夷简曾主编《宋三朝国史》（155卷）、《三朝宝训》（30卷）、《五朝宝训》（与林希进合撰，60卷）、《一司一务敕》（30卷）、《天圣编敕》（12卷）、《天圣令文》（与夏竦等撰，30卷）、《景祐宝录》（21卷）。原有文集20卷，今已佚。《全宋诗》录其诗11首。

吕夷简墓位于河南省新郑市郭店镇李坟村东约500米处，现存冢高4米，周长约40米。2001年，新郑市政府将吕夷简墓列为新郑市文物保护单位。

吕夷简墓在安徽省淮南市八公山区境内的龟山之上，有石屋、石床、石台等遗迹。旧有吕公墓碑已无存，清同治年间安徽巡抚吴坤修，重新立碑于墓前，题“宋吕申公墓”，墓碑“文化大革命”期间被人砸坏，残块至20世纪80年代被窃走。

《乐全集》卷36《赠太师中书令谥文靖吕公神道碑铭》

《隆平集》卷5《宰臣》

《续资治通鉴长编》

《东都事略》卷52《吕夷简传》

《宋史》卷311《吕夷简传》