蘇子高事平，王、庾諸公欲用孔廷尉為丹陽。亂離之後，百姓雕弊，孔慨然曰：“昔肅祖臨崩，諸君親升禦床，並蒙眷識，共奉遺詔。孔坦疏賤，不在顧命之列。既有艱難，則以微臣為先，今猶俎上腐肉，任人膾截耳！”於是拂衣而去，諸公亦止。

　　樂令善於清言，而不長於手筆。將讓河南尹，請潘嶽為表。潘雲：“可作耳。要當得君意。”樂為述己所以為讓，標位二百許語。潘直取錯綜，便成名筆。時人鹹雲：“若樂不假潘之文，潘不取樂之旨，則無以成斯矣。”

　　卞望之雲：“郗公體中有三反：方於事上，好下佞己，壹反。治身清貞，大脩計校，二反。自好讀書，憎人學問，三反。”