跟您我家的土地情况。 我家房后面有一个半分地，那是我爷爷建房子时剩下的真的不知道怎么处理啊？

你好，跟您咨询一下我家的土地情况。 我家房后面有一个半分地，那是我爷爷建房子时剩下的，应为地里有一颗树，那颗树不是我们的，本来我爷爷打算砍掉的，可是那颗树的主人说:砍掉了很可惜的不如留下吧，所以我爷爷就留下了那块地，如今我爷爷去世了，那颗树早就让他们砍掉了，我们想那块地里建个小房子，可是那颗树的主人说:那分地是他们的不让我们动，想要建房子给他们4万块钱，现在这个地方我们都说不清了，真的不知道怎么处理啊， 希望您给我一个意见，谢谢您