他既然是中介,说明合同就不是和他签的,他就没有权利撵你们走.合同双方是你和房东.中介除非和房东授权,才可能替房东办退还押金赶人之类的事.另外,要是房东来了,就要看究竟扰民没有,究竟是哪方违约.一般即使物业说你们扰民,你们改就是了,或是赔偿受害者就是了.一般不能因为这个理由而解除租赁合同.
中介无权你合同具体是如何约定的？你的押金是给中介的还是给房东的？
