授权委托书应该是表示你的真实意志。你有权决定取消授权委托。如果被委托人拒绝，你可以直接书面通知相关单位（例如本案的房产部门）宣布取消该项委托，将原被委托人手中的授权委托书声明作废。当然，如果取消委托不是由于被委托人的过错，并且被委托人已经着手为你工作了，你应当依照约定支付相应的报酬。
