これからこのまま夫と一緒にいれるのか悩んでいます

去年、赤ちゃんが産まれました。40代半ばの高齢出産だったため、体調も戻らず、毎日赤ちゃんのお世話に追われて、最初の3ヶ月は体力的に辛い毎日でした。その辛さをトラウマ級にしたのは夫の態度でした。夫は妊娠中から少しづつ元気がなくなり鬱っぽい感じになっていたのですが、出産して鬱状態が酷くなり、出産１週間目にして父親になりたくないと言って来ました。その後も、妊娠がわかった時に中絶すればよかったとか、私に対して愛はあるが異性として興味がないとか、子供が産まれたことによりもう自分には自由がなくなった死んだ方がマシだなどあらゆる事を言われ続けた3ヶ月でした。その間、赤ちゃんの世話は全くしてくれず、共働きだったので生活費も折半(私は妊娠中仕事を頑張っていたので貯金で暮らせました)、毎日家では暗い顔で事あるごとにネガティブな事を私に言ってくる日々が続きました。この3ヶ月のことは私の中でトラウマになっています。暖かい家庭を築きたかった、赤ちゃんを100%愛したいのに、夫の言うことが気になって夫に気を遣ってしまい、出産に対しての喜びも持てない日々。
5ヶ月くらいから体調も戻り、赤ちゃんとの生活にも慣れ、本当に可愛く出産してよかったと思えるようになって来ました。
夫には、自分がどう思ったのか、本当にあの時は辛かったと言葉にするチャンスがあり、私の気持ちは伝えました。しかし彼は自分が言った事は本当のことだし言って後悔はしてないとの返答でした。
夫もだんだん赤ちゃんが可愛くなって来たようで、最近は少し遊んだりします。仕事などでしんどい時は、いまだに自分の人生は終わったとか、何も楽しいことがないとか言って来ます。
赤ちゃんへの態度は良くなったので、これまで離婚をしたいと思っていましたが、もしかしたらもう少し待ったら彼に父親の自覚が芽生えいい方向に向かうかもしれないと思って保留にしています。
相談というのは私の中にあるトラウマです。このまま良くなっていったとしても、彼が言った言葉を忘れる事ができません。
赤ちゃんと楽しそうに彼が笑ってても、私は心の中で中絶すればいいのにってあの人はあの時言ったんだ、そしてそれに対して悪いとも思ってないんだと思ってしまいます。
彼のネガティヴな性格も子供に影響を与えないか心配です。
やはり離婚するべきなのか、最近は毎日考えています。