複雑な家庭環境で育った旦那が非常識な冗談を言う事に腹が立つのですが私は心が狭いのでしょうか？

すみません。相談です。

旦那と1歳の息子のことで話していて、「息子はパパそっくりだよね」という話題になり、
話しているうちに旦那に「お前の弟くんとお前って姉弟でもまったく似てないよね」
と言われました。

私は父親(一重)似で、弟は母親(二重)似。
目元がかなり違うし、親戚からも
「私ちゃんはお父さんの子ってわかるけど、弟く私も弟とは似てないと自覚してます。
なので私は「そうだよねーよく言われる」と笑って言いました。
すると旦那が「弟くんって本当に義父さんの子供？ww」と、笑いながら返しました。

旦那なりの冗談だったんだとは思います。笑ってましたし。
でも、母が浮気したかのような言い方だったので「は？」と、
私は明らかに怒っているような言い方で返してしまいました。
旦那は慌ててましたが、何が悪かったのかわかっておらず、謝罪はありませんでした。

旦那自身複雑な環境で育ち、旦那の兄弟は全て父親違いなので、
そのようなことは別におかしいことではないのでしょう。
でもなんとなく私も許せなくて、その後は会話もせずに旦那は寝ました。

私は心が狭いでしょうか？

誰にでも間違いはあるよ。それが実の親でもね。
大人としての対応が一番だと思うよ。

今起きて来た旦那に、ここが嫌だったんだと伝えると、旦那はなんで？と。

実は最近、旦那の同僚さんのとこに赤ちゃんが生まれたらしいのですが、
同じことを言ったそうです。
「同僚は怒らなかった。なんでお前は怒るのか」とだけ言ってまた寝ました。

もう自分のことはいいんで同僚さんに謝りたいです。
色々と教えとかないと、他所でも言ってるなんて…

相談と言いながら愚痴になりました。
すみませんでした。