九年前购买房改房至今未能过户，卖主现反悔要退房，我该怎么办

本人2001年11月通过朋友介绍，以5万9千元的价格购买了忻州一厂矿家属院一套76平米的单位房改房，并签订了购房协议，当时该房为部分产权，卖主承诺以后单位如果出售剩余产权由卖主负责出资购买，因为当时本人刚工作不久，对房产一窍不通，且受经济所限就购买该套房子。完全产权一直未能办理！现在本人自己缴了剩余产权房款，但到办理完全产权及过户手续，需要卖方签字时，他以房价上涨为由，总说当时房子卖便宜了，对其说不要他承担任何过户费用，只要去房管局去一趟就行，他就是避而不见，说要把当初的购房款退给我，让我把房子交出来，虽说部分产权房不能上市交易，但他实际已经卖出九年多了，他还有权要回房子吗？况且单位也有好几家同样情况的，别人都顺利办好了完全产权并过户。遇到王某这样的无赖，我该怎么办呢？帮忙出个主意！谢谢！