交割房屋延迟了半个月，怎么办？

我买的二手房，早就过完户了，合同约定7月22日交割房屋，房间内还剩下原业主的家具。到现在已经过去半个月了，原业主还不把家具搬走。中介催过好几次，原业主就说会回来拿走家具（原业主是外地人），但始终不来。我们已经让中介通知了原业主，后天我们的装修队就进场施工，如果他还不来，我们就会把原业主的家具扔出去。请问这样可以吗？我们都没追究他违约的责任，他要因为我们扔了家具就告我们，我们就追究他的违约责任，倒是还不一定谁赢呢，大家觉得呢？