起先,宋季雅被免去南康郡的职务,在吕僧珍家的旁边买了住宅,吕僧珍问他价格,回答是“一千一百万”。僧珍对这么昂贵的价格感到奇怪,季雅说:“我花一百万买房,一千万买邻居。”待到僧珍生子,季雅前往祝贺,送了一个盒子,上面写着:“钱一千”。守门人觉得这份礼太轻,不给他通报,他硬要进去,才放他进。僧珍怀疑这里有什么名堂,亲自打开,原来是金子铸的钱。于是,吕僧珍向皇帝推荐宋季雅,说他很有才干,宋被起用为壮武将军、衡州刺史。在启程赴任时,宋对他所亲信的人说:“不可以辜负了吕公啊!”到了衡州后,他大有政绩。