用不用取消人民调解委员会的协议?

我父亲由我兄弟赡养，我用房屋和土地顶赡养费，现在他俩不履行调解协议，继续管我要赡养费，赡养费经法院给他了。人民调解协议书上只有双方当事人签字和手印，没有调解员公章、签字、年月日。是否有法律效力?现我想收回房屋及土地。我的房屋及土地至今未过户给他。我找到县国土资源局，国土资源局负责人让我到法院取消这份协议，否则不能收回房屋及土地。用不用取消人民调解委员会的协议?如果需要用什么方式取消?