一つのスポーツにしぼるべきか、それとも会社を辞めて再出発すべきか

読んだ方はそんなことでと思うかもしれませんが、私は深刻に悩んでいます。小さい頃から好奇心旺盛だったのかもしれませんが、学校の他にスポーツやピアノなどの習い事をしてきました。ただスポーツに関しては進学を機に新しいスポーツに変えていきました。大人になってからはスポーツは趣味ですし、楽しめればいいかなと割り切って興味を持ったものを色々とやれればいいかなと思っていました。ただそのスタンスで、会社の同僚に悪口を言われることが多くありました。具体的には「色々やって調子にのってる」「どれも軽くやって大したレベルじゃない」「なんでもやればいいてものじゃない」「自分のレベルをわからないで努力してる」「なんでもやりたいて言われたら一緒にやる周りは迷惑」などです。自分は楽しく練習しながらスポーツは上達したい、上手い人の動画を見たりしてスポーツをコツコツ続けたいと思っていたのでショックでした。会社の上司も、私のことを馬鹿にしてるなと思いました。受け流して淡々と働けばいいとは思いますが、たまに強気で「絶対にスポーツを辞めさせてやる」と言ってるのを聞くと落ち込んでしまいます。絶対に色んなスポーツを続けると決めて弁護士さんに相談しましたが「お店とトラブルを起こしてない限り、お店から利用を断ることはできない」と言われ安心しています。もし会社がスポーツをやめるように言ってきても、脅迫したとして会社を訴えればいいやとは割り切っています。また会社辞めても食べていけるように資格取得や独立の準備をしています。ただあまりにも会社の人に色々言われると自信をなくしてしまいます。親には「一つのことをずっと続けた人からすれば、あれもこれもやるのはおかしいて思うんだよ」とは言われています。趣味として取り組む上でなら、どのようにスポーツに取りんでもいいとは思いますが、私が間違っているのでしょうか。心療内科の先生には「自分の好きなようにすればいい」と言われますが、会社を辞めて再出発して趣味のスポーツではリフレッシュしながら独立して仕事をしてもいいでしょうか。