飲み会への参加強要

親族経営の小さな会社の事務員兼役員をしています。私も経営者の親族です。
一人だけ親族ではなく雇用している社員(男性)がいます。

この男性社員に取引先Aとの飲み会への参加を強要され、大変困っています。
うちの会社が取引の客側なので、会社同士のパワーバランスとしてはうちが上になります。
男性社員と取引先のウマが非常に合うようで個人的に頻繁に(コロナにも関わらず)飲みに行っており、今度は私も同席するよう言われています。
私は今まで大手外資系企業での勤務経験しかなく、そこでは強要は一切なく、就業時間外のプライベートはきちんと確保される環境にいました。
私は全く飲酒出来ない体質ですがジュースを飲んでいて構わないと言われてしまい、
断るる理由に出来ません。

またコロナ前に祖父の代から家族ぐるみでお付き合いしている別の取引先Bとの会食もあり、そちらは単に私が日頃のお礼を言ったり、仕事以外の話も楽しく出来、他にも飲酒出来ないメンバーもいて気後れもなかったので自分の意志で参加したところ、その男性社員に「なぜBの飲み会には参加して、Aとの飲み会には出来ないのか」と言われています。

個人として、プライベートでBとの飲み会に行く意志も理由も私の中には全くありません。

男性社員はコロナへの危機感も全くなく、また発達障害を思わせる意志疎通の困難な点もあり、B社とのこともあり、八方塞がりです。
またいつAとの飲み会について言われるのか、どう断ればいいか、考えるだけですごいストレスです。
アドバイスをお願いいたします。