我家和别人家20多年前换的地，现在我家盖新房子。他们想要回去怎么办？我们有土地证是我们的地方。