在中介和房主签订了房屋买卖居间合同，口头约定网签后在缴纳，我能不交吗，只是在中介签了房屋买卖合同

我是买方，在中介和房主签订了房屋买卖居间合同，根据合同规定买方付居间服务费，但是当天没有缴纳居间服务费，口头约定网签后在缴纳，但是房主突然不卖房子了，我也不想起诉房主要违约金，中介现在一直崔我缴纳居间服务费，我能不交吗，只是在中介签了房屋买卖合同，之后所有手续都没有走。