房产纠纷本人是山西晋中

我买了一块房产，当时买卖那会儿没有见证人没有合同但是有一张签名按过手印的字据，房产证一应手续也拿到手了，但是现在卖方反悔不想卖了，这块房产我已经动过了我也不想退给他，但现在卖方要反悔还要我赔偿拆掉的那些东西，现在不让动工还闹，我想知道双方当时签下的字据协议有法律作用吗？我不想退回这块地产在不违法的前提下我该怎么做？