如果小孩一直跟你生活，你可以请求法院变更抚养权，并要求男方退还之前女方支付的抚养费。如果只是最近才由女方抚养，则需要再综合分析双方的抚养能力和抚养条件，如果你没有明显优于男方的条件，变更可能比较难。如果变更抚养权成功，你可以按比例要回之前支付的抚养费，并要求对方支付从你开始抚养之日起的抚养费。
