结婚时的聘金该退吗我们刚结婚3个月,…

结婚时的聘金该退吗我们刚结婚3个月,结婚后才发现他男性方面的病，后来就没有过夫妻生活，然后就是分居，现在两人要离婚、、他要我退他聘金，我们没有共同财产、只是结婚的聘金我要退吗