根据最高人民法院《婚姻法》解释(二)中的规定，只有符合以下情况，人民法院才支持返还彩礼：一是双方未办理结婚登记手续的；二是双方办理结婚登记手续但确未共同生活的；三是婚前给付并导致给付人生活困难的。如果不符合这三种情况，法院不支持返还彩礼。从以上可以看出，结婚三个月要离婚不退彩礼可不可以，要结合相关的调查来确定，只要是不符合以上条件的，当事人可以拒绝退还。
