【意見募集】じっくり相談/質問させて下さい123

名無しの心子知らず＠＼(^o^)／

子連れでの帰宅時間についてなのですが、

妻と一緒に出かけると子連れでも必ず帰宅が
９時を回ります。食事でも買い物でも旅行でも
いずれの場合も同じです。小学生だから
たまにはかまわない、と言うんですが乳児の頃
から変わらず必ずそうでした。
自分一人で大人の集まり（飲み会）に参加する
時とかは何時になっても怒ったことはありません。

一緒に出かけると帰宅時間で必ず喧嘩になり
そんなに夜遊びしたいなら一人でしろ、
と先に帰ったこともありますが治りません。
この時間が永遠に続け、と思ってるならかわいい気も
しますが、子供に悪い影響でないか心配です。
喧嘩するよりのんびり子供と団欒の時間とる方が
良いかと合わせたことがありますが、
普通に日付跨ぐ位の時間でもさして気にしてませんでした。
どうしたら治りますか？このまま時間が過ぎるのを待つべき？