湖南怀化盖房子的纠纷

我家要盖房子，盖第一层的时候，邻居就闹过，不让建，说地是他的。但是地不是他，司法局也来协商了，量过了，我们就在量好的地上盖房子，现在盖第二层的时候，邻居直接把砖推了，还推了我爸爸，说不让，除非让我们吧屋后面的猪圈拆了或者吧板栗树砍了，然后说我家猪圈占的她的地，后面又说猪圈污染环境，反正就是不让盖房，理由奇多