正德六年冬天，京师发生地震，邦奇上书指出当时政治生活中的不足和过失，不合武宗的心意，武宗未予理睬。后来恰好给事中孙祯等上书弹劾大臣和幕僚中不称职的人，一并提到了邦奇。在吏部已决定继续留用的情况下，武宗竟因为以前那篇奏疏，把他贬为平阳通判。后来升为浙江佥事，管辖杭、严二府的事务。宸濠派遣宦官假扮作游脚僧，在杭州天竺寺聚集了一千人左右，邦奇立即就疏散了他们。宸濠的女婿托名进贡要借路过衢州，邦奇质问说：“到北京上贡应当沿江而下，为什么要从此处借路？你回去告诉宁王，我韩佥事是不好蒙骗的。”

当时宦官在浙江的共四个人，王堂当镇守，晁进管织造，崔王缶管市舶，张玉管建筑。他们的爪牙四处活动，弄得民不聊生。邦奇上书请对他们加以禁止，还几次压制了王堂。邦奇同情宦官指派在富阳采茶、打鱼的百姓，写了一首诗歌表示感伤。王堂于是上书说邦奇阻挠给皇上的供给，写诗歌埋怨、诽谤。武宗恼了，把邦奇逮到北京，关进了诏狱。朝中大臣上书挽救，武宗都不听，最后邦奇被罢官为民。

嘉靖初年，起任山东参议，他请假回乡去了。不久因为别人推荐，又以参议之职到山西做官，他又请假回去了。后来又起任山东副使，升为大理丞、少卿，然后以右佥都御史的名义巡抚宣府。而后入朝助理按察院的事务，升任右副都御史，巡抚辽东。当时辽阳发生兵变，侍郎黄宗明说邦奇一向很有声望，请给他见机行事的权力，让他迅速前往平定事变。世宗当时一味采取姑息政策，没有听宗明的意见，而是让邦奇与山西巡抚任洛做了对调。邦奇到山西后，把政治风气搞得很严肃，官府给他提供的用品他一样不要，自己家里每隔一天用自己的禄米换一斤肉吃。

他在山西当了四年巡抚，然后告病回乡了。由于朝廷内外不断有人推荐，他又以右副都御史的名义出来主管河道事务。后来升任刑部右侍郎，又改当吏部左侍郎，而后担任南京右都御史，提升兵部尚书，开始参与朝廷的军政大事。最后退休回家了。嘉靖三十四年(1555)，陕西发生大地震，邦奇在地震中丧了生。朝廷追赠他为太子少保，谥恭简。

邦奇天性好学，从经、史、诸子之学到天文、地理、乐律、术数、兵法，各种书籍无不深入进行钻研，生平著述很多。他所撰写的《志名》，尤其受人称道。

他的弟弟邦靖，字汝度。十四岁就乡试中举，后来和邦奇一起考中进士，担任工部主事。一次到浙江购买木料，回来后数额不足，被人弹劾，最后因为他做官清廉才免于追究责任。以后他升任员外郎，碰上乾清宫发生灾祸，他很尖锐地上书批评当时政治状况，武宗大为恼火，把他关进了诏狱。给事中李铎等为他说了话，才罢官为民。世宗即位后，他起任山西左参议，负责防守大同。有一年发生饥荒，出现人吃人的现象，邦靖上书请打开国库赈灾，世宗不同意。他又抗言上书，写了一千多字，世宗根本不予理睬。他于是上书请假回乡，不等朝廷批复就起了程，大同军民拦路哭泣着挽留他。他回到家中病死，终年三十六岁。不久以后，邦奇也来大同当山西参议，当地的父老乡亲因为邦靖的缘故前往迎接他，都掉下了眼泪，邦奇也哭了。

邦奇曾经住在草庐中，病了一年多不能起来。邦靖送药一定亲自尝过才送，并亲自给他喂水喂饭。后来邦靖病危时，邦奇日夜抱着弟弟哭泣，三个月都没有脱下衣服睡觉。等弟弟死后，他穿丧服，吃素食，在整个丧期里都坚持不懈。所以家乡的人们为他们立了一块孝悌碑。