庞德公一直是过着隐居的生活，他隐居在襄阳城外的岘山南沔水中的鱼梁洲上，与妻耕作为生，自给自足，耕作之余读书著作，在荆州素来有名望，可以用德高望重来形容。
刘表曾经亲自登门拜访庞德公，却被庞德公拒绝。
刘表当时就对庞德公道：“你保全了你一个人，为什么不保全天下呢？”
庞德公笑着回答刘表：“鸿鹄在高林之上筑巢，晚上有栖息的地方，龟鼋在深渊下面作穴，晚上有归宿，人的取舍与行为举止也是人的巢穴，万物都是只为各自得到栖宿的地方，所以天下并不是我所要保全的。”
庞德公以耕作为业，所以他的妻子儿女在前耕耘。刘表指着他的家人问庞德公：“先生住在田亩之中，不肯出来做官，有什么能够遗留给子孙呢？”
庞德公回答：“世上的人追慕名利，只会留给子孙危险；而我留给子孙的是安居乐业，只是遗留下来的东西不同罢了。”
其人淡泊名利如此，所以为人所尊重。
刘禅一脸笑意的望着庞德公，庞德公在刘禅的头上轻轻敲了几下：“顽劣之徒，倒也聪慧少见，庞士元能收你为徒，亦是他的福气。”
“你就坐我旁边吧，与德操换一下位置。”庞德公对刘禅说道。