我和前夫离婚已经4年了，但是协议孩子的抚养权归父亲，我不付抚养费，但是孩子从离婚至今都是我在抚养

法院不立案有悖于法理，你可以要求法院出具不予立案的裁定，然后上诉；也可以申请人民检察实施立案监督权。
同时，如果走刑事诉讼，遗弃罪属于自诉案件。刑事诉讼法第十八条第三款规定：自诉案件，由人民法院直接受理。
自诉案件包括：
(一)告诉才处理的案件;
侮辱罪、毁谤罪，暴力干涉婚姻自由罪，虐待罪，侵占罪。
(二)被害人有证据证明的轻微犯罪案件;
故意伤害罪(轻伤)，重婚罪，遗弃罪，妨害通信自有罪，非法侵入他人住宅罪，生产、销售伪劣商品罪(严重危害社会秩序和国家利益的除外);侵犯知识产权罪(严重危害社会秩序和国家利益的除外);属于《刑法》分则第4、5章(侵犯公民人身权利、民主权利罪;侵犯财产罪)规定的，对被告人可以判处三年有期徒刑以下刑罚的其他轻微刑事案件。
被害人直接向人民法院起诉，人民法院应当受理，对于证据不足、可由公安机关受理的，应当移送公安机关立案侦查。被害人直接向公安机关控告，公安机关应当受理。
(三)被害人有证据证明对被告人侵犯自己人身、财产权利的行为应当依法追究刑事责任，而公安机关或者人民检察院不予追究被告人刑事责任的案件。
对情节特别严重，受害人为弱势群体，受到严重伤害的人民检察院对遗弃罪提起公诉。

可以起诉变更孩子抚养权，并由对方支付抚养费