流れを切って申し訳有りませんがよろしくお願いします。

旦那の兄が結婚して、相手に連れ子がいるので突然一児の父親になりました。
旦那と義兄はもともと仲が良く、盆とGWと年末年始に義実家に集まるのと、年に2、3回泊まりか日帰りで趣味のスポーツをするために2人で出かけるくらいの交流でした。
私の認識としては、もうあちらにも家庭があるのだから少し距離をおいてあちらの団欒を邪魔しないようにしないとね、と思っていました。
しかし旦那の認識は、「向こうにも家族ができたし、これからは家族ぐるみで付き合って、子供同士もいとこ同士仲良く遊ばせたい」ということらしく、何かと接点を持ちたがります。
例えば、GW後半義実家に集まり食事会なのですが、義兄家族はそのまま義実家に宿泊します。
それで旦那も義実家に一緒に泊まりたがるのですが、普通の団地に10人集まることになり泊まるとするとこちらは授乳が必要な乳児がいるのにリビングで雑魚寝になる予定です。
私はその旨伝え、子供達も疲れてしまうからと宿泊を辞退して義両親も納得しているのに、旦那は何かにつけて私を説得しようと機会を伺ってる雰囲気を出して来ます。
また、GW前半に家族だけでドライブ旅行に行きましたが、その帰り道義兄家族が住んでいる隣県に差し掛かった時、本気か冗談かわからない感じで「兄貴の家寄ってく？」と言って来てイラっとしました。
兄貴の家と言っても、結婚相手と連れ子がもともと住んでいた家です。そこにアポなしで無遠慮に行けるわけないだろと。
そう言ったら、「そんなに避けなくても・・・」と残念そうに言われました。

とても長くなってしまいましたが、相談としては向こうの家族と距離を置きたい私と、家族ができたからこそお付き合いしたい旦那と、どちらの認識がおかしいのか。
また、旦那が義兄家族と付き合いたいそぶりを見せて来た時、気分を害さない程度に何かぴしゃりと言うセリフをアドバイスいただけたらと思います。
よろしくお願いします。

1人の男に結婚生活をめちゃくちゃにされた話。
学生時代に1つ歳上のＡに告白されたけど振った過去がある。ただ好みではなかったのと、当時だれかと交際する気はなかったから。
そんな事はAには伝えずに｢好きです｣｢ごめんなさい｣で終了。
それから社会人となって出会った男性.と結婚。子供も出来て幸せな生活を送っていたんだけど
親子3人で買い物をしていり最中に偶然Ａと再会。
Ａが突然｢ウリは辞めたの？｣と言ってきた。旦那が驚いて、賣春してたのかと責めてきた。
私は全力で否定。もちろん賣春なんかしてない。ずっと優しかった旦那が豹変してこちらの話に聞く耳もたない。いつのまにかＡは消えていた。
ずっと汚い女だと責められて離婚が決まった。状況的にこちらが有責になる流れだったから
必 ﾀﾋに弁護士探して有責は免れたよ。学生時代のＡとのエピソードをあらゆる人間からかき集めるのは大変たまった。
上記の通り、｢好きです｣｢ごめんなさい｣のみの関わりだったし。目撃者なんていなかった。友人が色々知ってたけど口裏合わせだと思われてた。
Ａが弁護士に｢いつか嘘がバレた時には莫大な責任が君(Ａ)に降りかかるよ。完璧だと思っていても思ってもみない所から綻びが生じる｣と言われてビビって白状した。