我们异地搬迁户拿了钥匙可以退吗？因为我不想迁户口去别的地方我不迁可以吗？

我想问一下，我们异地搬迁户拿了钥匙可以退吗？因为我不想迁户口去别的地方，当时作工作的时候政府部门没有告诉我说要迁我们的户口，而且告诉我说户口不变，土地任然是我的山林也依旧是我的，到现在了突然叫我把户口迁走，我不迁可以吗？