旦那のことが嫌になってしまいそうです。

結婚3年目で結婚してすぐ子どもを授かり、今2人目を妊娠中です。結婚前、旦那の二股が発覚しました。二股の事実は、二股相手から直接聞かされ、暴言を吐かれかなり傷ついたものの、旦那が心を入れかえるというので信じて結婚しました。結婚してしばらくは楽しく生活していました。この前旦那が8人ぐらいのグループでゴルフに行っていました。ゴルフから帰ってきて話を聞いている時に二股相手もそのゴルフに来ていたということがわかりました。子どものいる父親が、元カノが来ているゴルフに行ったことが気持ち悪すぎて嫌いになってしまいそうです。もし、私の父が元カノとゴルフに行っていたらと思うと気持ち悪すぎて嫌になります。子どもはまだ小さいので何もわかりませんが、ここできちっと話をつけておかないと、いつか子どもを傷つけること（不倫など）が起こるかもと思い、話し合いました。しかし、俺はゴルフに元カノが来ててもなんとも思わない。だいたい俺と元カノが付き合ってたってことは周りの人は知らないから大丈夫。と、わけのわからないことを言っていました。私は、バレなきゃいいの？嫁のことを傷つけた相手になぜまだ会うの？と、理解し合うことができませんでした。次第にヒートアップしてしまい、旦那がめんどくさくなったのか、もぉいいわ。行かなかったらいいんでしょ？と投げやりに言われました。行かないと言っても、どうせまた黙って行くんだろうなと信じることができず、離婚を考えるようになりました。ただ、子どもはパパのことが好きなので、できるだけ離婚はしたくないと思っています。でも、このままだと私の心がボロボロにされるばかりです。私の心が狭すぎるのでしょうか？旦那を信じることができません。行動全てが怪しく思えて嫌になります。