去中介交的斡旋金可以退吗

我们第一次看房子，没经验对房子的很多事情不是很清楚，经中介看了一套二手房子，没见到业主让我们交了斡旋金5000元，交钱之前和要签合同时跟我们说的费用和我们去银行问的贷款年限都不一样（跟我们说96年的房子可以贷款20年），交斡旋金时签了一个意项金协议书，里面有一项条款是：磋商到等于小于我们说的价格时必须购买，同时替我们代交定金或作中介费。    房主已经收到定金，我们可以退这个钱吗