按照新婚姻法的规定,彩礼已经给你的家庭造成经济困难的,可以要求女方退还。有媒人可以作证能证明给彩礼的数额就可以,同时你也可以在和对方协商时做个录音。
没有一起生活的话就可以退还,建议你从这一点出发来辩护。