公元234年底，潘濬回到武昌，与陆逊一起"共掌留事"。莅年，事奉蜀汉的潘濬表哥蒋琬，升任蜀汉大将军，便有谣言到处传播，说潘濬难忘旧主刘备知遇之恩，派遣密使联络蒋琬，打算投奔蜀汉。武陵太守卫旌因此紧张，上表奏请孙权防范潘濬。孙权看罢奏章，说："潘承明绝对不会去做这事。"然后怪罪卫旌捕风捉影，免除了他的官职。

孙权为了加强自己掌控朝政力度，重用校事吕1。吕1为人刻薄，用法严酷，喜于操弄权势。"共掌留事"于武昌的潘濬与陆逊，皆对吕1的胡作非为感到忧虑，两人虽为久经沙场的战将，但只要说到吕1作孽之事，就会以泪洗面，情绪常被不安和恐惧所左右。

公元236年，胆大包天的吕1竟然弹劾丞相顾雍和左将军朱据，两人因此下狱。黄门侍郎谢広问吕1："顾公的事，结局会是如何？"

吕1答："情况不是太好，按律当诛。"

谢広又问："那么顾公去职的话，谁最有可能代替他？"

吕1沉默不语。见吕1没有回答，谢広猜道："会不会是潘太常?"

吕1过了好一会儿，才答："你说的这个人选，很有可能。"

谢広便道：“你可知晓，潘太常恨你切齿咬牙，只是因为远在武昌，没有机会对你下手而己。如果今后他接替顾公之职，恐怕你的命运就不会好了。"

吕1由此感到害怕，于是找了个借口，奏请孙权对顾雍之案不了了之。

因于武昌相距建业较远，加上边将未有召令不得入京之规定，潘濬很难见到孙权。为了能够面谏孙权除去吕1，潘濬请求书信不断，终于得到孙权允诺。到了建业，潘濬听说太子孙登早就多次要求孙权弃用吕1，但孙权不予接受的情况，便以"自己应召赴京，欲与亲朋好友欢聚"理由，宴请百官，意欲在宴会过程中，亲手杀死吕1。不料计划泄漏，吕1借口生病未去。

无可奈何之下，潘濬惟有通过每次近见孙权时，陈述吕1的奸险。听得次数多了，孙权也就疏远吕1，也是凑巧，此时有确凿证据表明：左将军朱据纯属冤枉。孙权大惊："吕1连我女婿都敢诬陷，何况其他官员？"于是羁审吕1，从而发现吕1恶贯满盈，遂予诛灭三族。

公元239年，潘濬去世，其长子潘翥袭爵。

《全三国文》中收有一篇潘濬写的《疏责子翥》文章。