等到魏征病重,唐太宗乘坐御车再次到魏征府上探望,抚着魏征的手潸然泪下,问他有什么话要说,魏征说:“寡妇不担心织物少,而担忧国家灭亡。”过了几天,唐太宗夜里梦见魏征像平常一样,到早上就有人来奏魏征去世了,享年六十四岁。唐太宗亲自到魏征府上痛哭不已,罢朝五天……魏征陪葬昭陵。等到将下葬时,魏征的妻子裴氏说:“魏征平日节俭朴素,如今按一品官的厚礼下葬,羽毛装饰成的仪仗特别多,这不是他想要的。”所有赠物都推辞不接受,最终以布车装载灵柩,没有华美艳丽的饰物。唐太宗登上御苑西楼,遥望灵车哭悼,诏令文武百官将魏征灵柩送出郊外。唐太宗亲自撰写碑文,并书丹上石,尔后追念不已,赐魏征实封食邑九百户。唐太宗曾经在朝廷上对他的近臣说:“用铜作镜子,可以端正衣冠；用古代的历史作镜子,可以知道国家兴衰更替的道理；用人作镜子,可以明白自己的得失。我经常保持着这三面镜子,以防自己犯错误。如今魏征去世了,我失去一面镜子了!魏征去世后,我派人到他家中,从他书箱里找到一页奏疏,刚刚写成草稿,字迹难以辨认,只有开头几行,可以看得清楚,这几行写道:‘天下的事物有善有恶。任用善人国家就得以安宁,任用恶人,国家就会发生动乱。朝廷大臣中,君主对他们的感情有爱有憎,对憎恶的人往往只看到他的缺点,而对喜爱的人往往只看到他的长处,爱憎之间,是应该仔细谨慎的。如果喜爱一个人能看到他的缺点,而憎恨一个人又能看到他的长处,斥退邪恶的小人大胆果敢,任用贤良之人不怀猜疑,那么,国家就可以兴盛发达。’他留下的奏章就是这样写的。而在我看来,恐怕难免犯这样的错误,公卿近臣们可以将他的话写在笏板上,知道我的过失就一定要规谏啊。”