我家土地（农村自留地）被村里的一个无赖硬说是他家的，我们的地是跟村里别

我家土地（农村自留地）被村里的一个无赖硬说是他家的，我们的地是跟村里别的人置换的，已换了将过20年，村里村干部都知道这地是我家的，但是无赖硬说他家的地怎么办？打无赖一顿好像也解决不了问题。