根据劳动合同法规定，员工离职时单位有义务协助员工办理相关档案、证件转出手续，单位不得以任何理由扣留员工各种证件。因此单位这样做法是违法的，你有权要求对方归还，对方不归还的你可以向当地劳动监察委员会举报。
