二手房买卖签订意向书

我通过中介与买家签订了房屋购买意向书，买家未到场，通过中介向我支付了5万元定金，中介告知后续将意向书寄给买家签字，我手上这份是我自己签字加中介公司盖章的协议，还没有拿到买家签字的意向书，现在我想终止，意向书上有写明，1，双方签订购买合同时，双方各需支付房价百分之1.5的中介费，2，如我这边终止，需赔付双倍定金。现在中介不同意终止合同，要求我支付房价的百分之3作为中介费。就这个情况我想咨询一下，第一，我现在终止合同，需支付中介费吗？第二，我还没有收到买家的签字的意向书，也未见到买家本人，可否拒绝支付双倍违约金，只归还这5万元定金？谢谢