同棲中の恋人との生活が上手くいかず不安です

知り合って10年、付き合って1年、同棲して10ヶ月になる恋人がいます。ここ最近相手の様子がおかしく、どう対応すればいいか悩んでいます。

前提として相手は精神的にやや不安定な状態にあり、症状としては不安障害や不眠、慢性的な頭痛と難聴があります。はじめは彼のこうした性質を私が知らずに不快な思いをさせてしまうことや喧嘩になってしまうこともありましたが、最近は返事がなかったり機嫌が悪そうな時、具合が悪そうな時は距離を置くことで対応をしていました。
今までは続いても数日程度だったのですが、ここ一週間ずっと相手は体調が悪いと訴えこちらを見ることもありません。
どこが悪いのか、薬は必要か？何か必要なものはないか？など確認をしても否定される言葉ばかりです。仕事から帰る時間も遅くなり、もしかすると体調不良の原因は私かもしれないと考えるようになりました。

実は同棲をしてから相手の愛情を感じづらくなったり、無理をしている様子が兼ねてより気になっていました。例を挙げると、私達は付き合って同棲をしてから二度しか性交渉を行っておらず、相手に拒否をされている状態です。理由を聞いても「したくないから」の一点張りで、話し合いをしようとしても応じてくれず、その後家を出てしまいます。
話し合いを拒絶する態度に対して私が何故そうするのか？と聞いたところ、話し合うということはある問題について白黒ハッキリつけてしまうことだ。そうなると終わってしまうことがある。だから話し合いをするよりも自分が我慢するようにしている。耐えられるようになるまで我慢を続ければ良い。といった趣旨の話をされました。
その時は納得したと同時に「終わってしまうこと」というのは現在の同棲生活や、私達の関係のことを指しているのかな。それを終わらせたくないから色んなことを我慢してくれているのかな？と受け止め、二人の関係について彼なりに考えてくれていることをありがたく思いました。

その反面、現在の体調不良は私との生活における我慢のせいではないのかと思うと気が気ではありません。かと言って直接話題にして「白黒ハッキリ」つけてしまったらこの関係が終わってしまいそうで怖いです。
私はどうしたら良いでしょうか？