关于房产问题-我们农村老家现在住的房产是爷爷留下来的 ，爷爷去世的时候爸爸三兄弟书面写

我们农村老家现在住的房产是爷爷留下来的 ，爷爷去世的时候爸爸三兄弟书面写了协议：同意将此房产的一二楼给我家和伯父家每人每层分一半，三楼给叔叔一家。叔叔现在在广州有自己的房产，现在的房子是由我家和伯父家在住着。现在农村的 土地资源很紧张，有钱也买不到地建新房，有关系的人才买得到。所以我家就想把这座古宅拆了重新建起来。但是关系到三楼是给叔叔分的 ，一楼二楼还有一半是伯父家的，请问我们怎样处理才不会触犯法律呢