上司が学生時代にいじめてきた人

トピ主が転職した会社の男性上司が、中学時代トピ主をいじめていたクラスメイトでした。
そんな人物となんと2人で出張することになってしまいます…。
条件の良い会社を辞めたくはないけど、どう関わっていけばいいのか。