建议你咨询你们当地的律师。从你的叙述来看,你已经独自抚养孩子3年多,除非你有不利于孩子成长的情况,如虐待子女、有赌博恶习等不利于子女成长的因素,否则你的前夫很难取得孩子的抚养权。
谁有能力谁抚养,毕竟都是为了孩子!