Он же взрослый мужчина и судя по Вашему рассказу Вы ему не безразличны. Попробуйте все спокойно обсудить и объясните ему, что он и дочурка - два Ваших самых дорогих человека на данный момент и потерять никого из них Вы просто не можете. Найдите компромисс: постарайтесь дочери тоже объяснить, что ей надо себя вести по-другому. Может сможете договориться с родителями, чтобы они забирали внучку на пару дней в неделю и это время уделяйте именно своему мужчине.
| 
Комбинированный вид
