湖南娄底房地纠纷

我爷爷奶奶三个子女，我爸爸最大，中间是我姑姑，我三叔最小，我爸爸在我一岁的时候死去了，我姑姑嫁人了，我们家有六间房子宽的地，我三叔前年，把老房子从左到右拆了四间，盖起了房子，其他两间废弃了，当时是说给十万块给我三叔，最右边那间房子给我建起来，但是建到中间又说不帮我建了，钱也不要，后来把村里干部叫来了，把房子建起来了，会把三楼一直给我住下去，说是等我以后有钱建房了再把房子还给他，钱也没要，我那时候才16岁。去年因为吵架，说房子是他的，现在她们说那房子我没份，我该怎么办？谢谢。