【相談】彼女を狙ってる同僚が飲み会を企画。→彼女が参加することに。→こちらも大目に見てもらえると思い女性達と飲みに行くねーと話したら激怒された…

相談させてください。 
彼女とは同じ会社の別拠点で、会社には一切秘密にしている状況です。 

前々から彼女を狙ってる同僚がいて、彼が彼女を含めて何人かで飲み会を企画しました。 
普通の飲み会ならともかく、上記の背景のため説明して参加しないで欲しいと伝えたのですが、(上記の背景で開かれてる点について)そんなことないと思う、参加するとのこと。 
そのように相手が嫌がってることをするなら、こちらも多目にみてもらえると思ったので、女の子達と飲みに行くねーと軽い気持ちで話したら激怒されました。