Тут все зависит от Ваших отношений и статуса. Если это парень и Вы такое узнали, может не стоит сохранять тако союз. Может пора расстаться, раз он Вас не ценит?
Если это муж, совсем другое дело: ради семьи, ради детей стоит очень постараться. Поговорит откровенно. Выясните, чего все-таки (по его мнению) Вам не хватает? Желаю удачи!