可以的，当男方的生活条件更有利于孩子健康成才时，男方主张要回抚养权，法院是可能支持的。有下列情形之一的，人民法院也会支持：1、与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的；2、与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的；3、十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的；4、有其他正当理由需要变更的。
