你的行为违背了合同，业主是有权力让你走人的，因为你违约，按合同是要收违约金的，租赁关系中一般违约金就是押金。然后租金一般是结算到你退房当天。而且因为你的行为，你退房后造成房子的空租期，有可能空租期的租金也是要扣的。当然，如果中介只是中间方，他们是没权利赶人的，只有业主本人可以。
