Ой, да плевать, кто там что Вам скажет или подумает !!!
В том числе и муж, и сын даже, не говоря уже о "доброжелателях" со стороны !!

Если Вы считаете нужным посещать сына столько, СКОЛЬКО там положено, то езжайте и посещайте !!!
И так, если МОЖНО, допустим, раз в месяц, значит, будете жить от месяца к месяцу, а это гораздо легче, чем весь год под стрессом !

Сын будет возмущаться - сказать, что пусть потерпит, ничо, не сахарный, Вы всё-таки не тётенька чужая !
Муж будет возгудать - его подальше, Вы - мать и имеете полное право поступать так, как Вам Ваше сердце прикажет !!