不想说他毕竟是你的父亲,感觉像是道德绑架。他是一个什么样的人呢,可能仅仅是太老实,或者说身体有病导致的贫穷,而他其实是爱你的。如果他只顾自己玩乐不管你们,又是另一种情况。问问你母亲的意见,然后看自己的心吧。
法律上你是需要养他的,他可以告你,但是他未必好意思这样做,因为他以前也没有给钱养你。