一个从没尽到父亲责任的人,其子女有权不理他吗？

不行，赡养父母是子女的法定义务，这个义务是不能取消的。

这个说得太空泛了吧，什么叫做没有尽到应尽的责任？再说，法律规定，赡养父母是子女应尽的义务。
《中华人民共和国婚姻法》规定：“父母对子女有抚养教育的义务；子女对父母有赡养扶助的义务”。
构成上述关系的赡养、抚养义务人，应依法承担赡养或抚养责任，若被赡养人或抚养人家庭人均月收入低于最低生活保障线时，赡养或抚养义务人应承担的赡养或抚养费按以下方法计算：
赡养费的计算。首先计算子女家庭的人均月收入，子女人均月收入低于最低生活保障线时，视为该子女无力向父母提供赡养费。子女家庭人均月收入高于最低生活保障线时，超出部分，二个子女以内的按50%计算赡养费；三个子女以上的按40%计算赡养费。应付的赡养费除以被赡养人数得出付给每个被赡养人的赡养费。
人民法院认定赡养费的标准包括：
当地的经济水平、被赡养人的实际需求、赡养人的经济能力。
赡养费的给付内容分六个方面：
(一)老年人基本赡养费；
(二)老年人的生病治疗费用；
(三)生活不能自理老人的护理费用；
(四)老年人的住房费用；
(五)必要的精神消费支出；
(六)必要的保险金费用。

所谓没有尽到父亲责任，怎么解读？俗话说，天下无不是的父母，再过分，他总有生育你的恩情在！