初桓南郡、楊廣共說殷荊州，宜奪殷覬南蠻以自樹。覬亦即曉其旨，嘗因行散，率爾去下舍，便不復還。內外無預知者，意色蕭然，遠同鬥生之無慍。時論以此多之。

　　王戎雲：“太尉神姿高徹，如瑤林瓊樹，自然是風塵外物。”

　　桓宣武既廢太宰父子，仍上表曰：“應割近情，以存遠計。若除太宰父子，可無後憂。”簡文手答表曰：“所不忍言，況過於言？”宣武又重表，辭轉苦切。簡文更答曰：“若晉室靈長，明公便宜奉行此詔。如大運去矣，請避賢路！”桓公讀詔，手戰流汗，於此乃止。太宰父子，遠徙新安。