後妻、どういう考え方で生きていけばいいのかわからない。

とても長くなります。
バツイチ同士で私は子無し、夫は前妻との間に4歳の子どもがいて(親権は前妻)面会は無し、養育費はちゃんと払っています。
離婚理由は度重なる前妻の不倫です。
その際に前妻がお金がなくて慰謝料を払えないから、その代わりに養育費は一切請求しないという口約束をしたそうです。
しかし、その2年後に私は夫と結婚、妊娠したのですが、夫と前妻はすぐ連絡が取れる状況だったのに、突然裁判所から通知が来て、養育費を支払えという書類が届きました。
夫が前妻に連絡をしたら弁護士通せというので、それから弁護士を付けて調停をし、養育費の額が決まり、減額もしてもらい、現在養育費を毎月払っています。養育費は親の義務なので払うことは当然ですが、養育費が無ければいいのに。と思うことが多々あります。理由は、大事な妊娠期にこれらがとてもストレスでお腹の子に影響がないかの常に不安だったのと(無事元気に生まれて来てくれましたが)、夫は不倫されたのに1円も慰謝料を貰ってない上に養育費のために仕事量を増やし、睡眠時間を削っているので(1日2時間寝れればいいほう)休みの日はいつも寝ていてぐったりしているので出掛けたりすることが出来なくなりました。その姿を見ると、前妻とその子どもに対して腹の底から怒りが湧いて来ます。
普段無駄遣いをすることはなく、ほんの少し貯金ができるぐらいの生活です。いまより生活水準は下げたくありません。
私もたまに働いていますが、子どもがまだ3ヶ月なので仕事量を増やすことはできません。
支払いは約15年ですが、これが15年も続くのかと思うと夫の健康面や今後がとても不安です。普段夫とはとても仲が良いのですが、前妻の子と養育費についてはたまに喧嘩になります。
それが原因で産後1ヶ月は夫と喧嘩して険悪なムードだったので、とても辛かったです。それもこいつらが居なかったらもっと楽しく子育てできるのに。前妻の子は全然可愛く思えないし、◯ねばいいのに。と無意識に思ってしまいます。ネットを見ても後妻は悪いことしか書かれていないので分かりません。私の考え方がおかしいのか？
ずっと我慢して生活すればいいのでしょうか。
夫と離婚はしたくないので自分が変わるしかないと思うのですが、中々考え方を変えることができません。
厳しい意見は散々聞いたのでもう聞きたくありません。
よろしくお願いいたします。