龚义担任丞相时已有80多岁,身材矮小,且无胡须和眉毛,相貌像一个老妇人,走路时身子佝偻,常常需要两名小吏左右扶持着才能行走。当时大将军霍光掌持朝政,议论的人有的说霍光任命宰相不选贤能,只用那些他可以控制的人。霍光听说了,对皇帝的侍从官和自己的属官说:“我认为皇帝的老师应当任宰相,怎么有那种说法呢？这话不能让天下百姓听到。”