房产中介要两买家之间的差价，咋办？

前买家出价78万，我经不起中介说就同意到手价，但卖家要我付中介费，我不同意就让中介去谈，谈多谈少我不管我就78万到手价，后来没谈成。现买家为80万，中介在签买卖合同时没说（但合同写明中介费各付总价1%，交易税费乙方承担），但首付后中介要两买家差价2万，我没给。以后房产过户中会有问题吗？