사마천의 사기에 따르면, 유방은 황제가 되고 나서도 5일에 한 번은 태공을 방문하였다. 이야기를 주고 받는 모습은 서민과 같았기 때문에, 유태공의 가령(家令, 집사)이 아무리 부모 자식이라고 해도 유방은 황제, 태공은 신하이니 이런 태도로는 황제의 위엄이 손상된다고 의견을 냈다.
태공은 이 말을 듣고 스스로 유방을 존경하는 태도를 하여, 유방은 놀라서 태공을 부축했다. 태공이 그 이유를 말하자 유방은 감격하여 태상황(太上皇)의 존호를 올렸다.
서경잡기(西京雑記)에 따르면, 유방이 천하를 얻고 얼마 지나지 않아, 태공은 한탄을 했는데 자신은 고향 풍(豊)에 있을 때 길에서 술을 마시고 떡을 먹고, 투계(闘鶏)와 축국(蹴鞠)을 즐기는걸 좋아했으나 황제의 아버지가 되어 서민처럼 놀 수 없게 되었다는 것이다. 그러자 유방은 소하를 불러 장안 동쪽에 아버지의 고향 풍과 꼭 닮은 거리를 만들게 하고, 풍의 주민들까지 모두 이주시켜서 아버지가 놀 수 있게 만들었다고 기록되어 있다. 유방과 마찬가지로 술을 마시거나 노는걸 좋아하는 한량 같은 성품이었던 듯.
