你没有明确该债务的性质，推定为夫妻共同债务。虽然离婚时房子归男方所有，但房产是抵押物，无论归谁都不改变债务的性质。
这个涉及婚姻关系存续期间的债权债务的归属问题。因为法律有规定，夫妻关系存续期间的债权债务都是夫妻双方共有的。既然你前夫得到了共有财产，就应当用共有财产归还
