Очевидно, Robocopy не поддерживает дедупликацию Windows Server 2016. Есть ли способ заставить его работать, не повреждая том?
Сценарий:
Выполнение миграции сервера со старого Server 2008 R2 на новый Server 2016 в соответствии с этим руководством по сбоям сервера: Миграция файлового сервера с использованием Robocopy
После Robocopy завершится, включите дедупликацию на Server 2016 для скопированного тома, а затем используйте PowerShell, чтобы запустить дедупликацию вручную. Через много часов он завершает работу и восстанавливает около 25% дискового пространства.
Запустите Robocopy еще раз, чтобы скопировать все, что могло быть пропущено в исходной копии, в качестве окончательной проверки нового сервера.
.... но Robocopy (запускаемый с Server 2016) не поддерживает дедупликацию и вместо этого переходит к удалению хранилища фрагментов дедупликации.
-------------------------------------------------------------------------------
ROBOCOPY :: Robust File Copy for Windows
-------------------------------------------------------------------------------
Started : Sunday, July 8, 2018 12:10:02 PM
Source : \\SERVER-2008\e$\
Dest : \\SERVER-2016\e$\
Files : *.*
Options : *.* /TEE /S /E /COPYALL /PURGE /MIR /ZB /NP /MT:32 /R:1 /W:10
------------------------------------------------------------------------------
*EXTRA Dir -1 \\SERVER-2016\e$\System Volume Information\Dedup\
*EXTRA Dir -1 \\SERVER-2016\e$\System Volume Information\Dedup\ChunkStore\
*EXTRA Dir -1 \\SERVER-2016\e$\System Volume Information\Dedup\ChunkStore\{B7E1F3A4-AAD9-4449-9DF7-5489421C9EC5}.ddp\
*EXTRA File 253504 \\SERVER-2016\e$\System Volume Information\Dedup\ChunkStore\{B7E1F3A4-AAD9-4449-9DF7-5489421C9EC5}.ddp\DedupFileList.1
*EXTRA File 253504 \\SERVER-2016\e$\System Volume Information\Dedup\ChunkStore\{B7E1F3A4-AAD9-4449-9DF7-5489421C9EC5}.ddp\DedupFileList.2
*EXTRA File 28 \\SERVER-2016\e$\System Volume Information\Dedup\ChunkStore\{B7E1F3A4-AAD9-4449-9DF7-5489421C9EC5}.ddp\stamp.dat
*EXTRA Dir -1 \\SERVER-2016\e$\System Volume Information\Dedup\ChunkStore\{B7E1F3A4-AAD9-4449-9DF7-5489421C9EC5}.ddp\COW\
*EXTRA Dir -1 \\SERVER-2016\e$\System Volume Information\Dedup\ChunkStore\{B7E1F3A4-AAD9-4449-9DF7-5489421C9EC5}.ddp\COW\00010000\
*EXTRA File 196608 \\SERVER-2016\e$\System Volume Information\Dedup\ChunkStore\{B7E1F3A4-AAD9-4449-9DF7-5489421C9EC5}.ddp\COW\00010000\00000046.00.RB
*EXTRA File 106496 \\SERVER-2016\e$\System Volume Information\Dedup\ChunkStore\{B7E1F3A4-AAD9-4449-9DF7-5489421C9EC5}.ddp\COW\00010000\00000048.00.RB
[.......]
*EXTRA File 30.3 m \\SERVER-2016\e$\System Volume Information\Dedup\ChunkStore\{B7E1F3A4-AAD9-4449-9DF7-5489421C9EC5}.ddp\Stream\000f0000.00000002.ccc
*EXTRA Dir -1 \\SERVER-2016\e$\System Volume Information\Dedup\Logs\
*EXTRA File 29.7 m \\SERVER-2016\e$\System Volume Information\Dedup\Logs\00000001.kmchange.log
*EXTRA File 999.8 m \\SERVER-2016\e$\System Volume Information\Dedup\Logs\changes.optimization.1.10.archive.etl
*EXTRA File 1000.0 m \\SERVER-2016\e$\System Volume Information\Dedup\Logs\changes.optimization.1.11.archive.etl
*EXTRA File 735.5 m \\SERVER-2016\e$\System Volume Information\Dedup\Logs\changes.optimization.1.12.archive.etl
*EXTRA File 999.8 m \\SERVER-2016\e$\System Volume Information\Dedup\Logs\changes.optimization.1.9.archive.etl
*EXTRA File 1.3 m \\SERVER-2016\e$\System Volume Information\Dedup\Logs\changes.optimization.2.1.archive.etl
*EXTRA Dir -1 \\SERVER-2016\e$\System Volume Information\Dedup\Settings\
*EXTRA File 76 \\SERVER-2016\e$\System Volume Information\Dedup\Settings\Dedup.00.cfg
*EXTRA File 76 \\SERVER-2016\e$\System Volume Information\Dedup\Settings\Dedup.01.cfg
*EXTRA File 2228 \\SERVER-2016\e$\System Volume Information\Dedup\Settings\dedupConfig.01.xml
*EXTRA File 2228 \\SERVER-2016\e$\System Volume Information\Dedup\Settings\dedupConfig.02.xml
*EXTRA File 0 \\SERVER-2016\e$\System Volume Information\Dedup\Settings\VolumeJobLock.bin
*EXTRA Dir -1 \\SERVER-2016\e$\System Volume Information\Dedup\State\
*EXTRA File 2982 \\SERVER-2016\e$\System Volume Information\Dedup\State\chunkStoreStatistics.xml
*EXTRA File 2592 \\SERVER-2016\e$\System Volume Information\Dedup\State\dedupStatistics.xml
*EXTRA File 11.5 m \\SERVER-2016\e$\System Volume Information\Dedup\State\GCReservedSpaceBitmap.tmp
*EXTRA File 1.0 g \\SERVER-2016\e$\System Volume Information\Dedup\State\GCReservedSpaceContainer.ccc
*EXTRA File 46.0 m \\SERVER-2016\e$\System Volume Information\Dedup\State\GCReservedSpaceDeleteLogs.tmp
*EXTRA File 1.0 m \\SERVER-2016\e$\System Volume Information\Dedup\State\GCReservedSpaceFileList.tmp
*EXTRA File 4096 \\SERVER-2016\e$\System Volume Information\Dedup\State\GroupCommitFlushControl0.bin
*EXTRA File 2066 \\SERVER-2016\e$\System Volume Information\Dedup\State\optimizationState.xml
[......]
Я прервал его через мгновение после того, как увидел этот пролет в журнале и узнал, что происходит. Но ущерб уже нанесен, данные на дедуплицированном новом сервере были мгновенно повреждены Robocopy, когда он ворвался через \ System Volume Information. Новый раздел диска сервера был отформатирован и заново скопирован из Server 2008.
Есть ли безопасный способ использовать Robocopy, чтобы он не касался данных тома дедупликации?
Кроме того, у меня возникла новая проблема. ... если Robocopy может уничтожить дедуплицированный том, что еще небезопасно использовать с дедуплицированным томом, который видит его насквозь и может уничтожить базовые данные, которые должны быть доступны только серверу? (наверное, это отдельный вопрос ..)
Системный том Каталог информации должен быть исключен с помощью переключателя / XD. Вероятно, стоит исключить другие скрытые / системные каталоги, такие как $ RECYCLE.BIN .
Zwei verwendete Befehlszeilenschalter führen dazu: / MIR und / ZB . Wie in der Dokumentation ( robocopy / ??? ) beschrieben:
/ MIR :: MIRror ein Verzeichnisbaum (entspricht / E plus /PURGE).
/ ZB :: Neustartmodus verwenden; Wenn der Zugriff verweigert wird, verwenden Sie den Sicherungsmodus.
Dies ist die Kombination, die Sie in: / MIR gelöscht haben (wie beim Ausführen von robocopy ohne Argumente ausgeführt) und "Sicherungsmodus" Besiegt die meisten Berechtigungen, um Dateien "normalerweise" unlesbar lesen zu können, um vollständige Sicherungen durchzuführen.
"Sicherungsmodus" ist in der Beschreibung "Hilfe" insbesondere undefiniert. Sie müssen wissen, dass die Windows-API CreateFile ein Flag namens FILE_FLAG_BACKUP_SEMANTICS unterstützt, das in Kombination mit einem bestimmten Zugriffsrecht SE_BACKUP_NAME (das dem gegeben wird) Administratorgruppe standardmäßig - auch die Gruppe der Sicherungsoperatoren (duh) umgeht die normale Dateisicherheit.
Das wusstest du nicht? Dann wissen Sie vielleicht auch nicht, dass Robocopy ursprünglich überhaupt nicht Teil von Windows war - es war Teil einer Ergänzung namens "Windows Resource Kit", die damals hauptsächlich von Programmierern und Hardcore-Sysadmins verwendet wurde, und obwohl dies der Fall war wurde bereits in Windows Server 2008 in die Windows-Distribution aufgenommen und hat noch nie Beachtung gefunden - abgesehen von zusätzlichen Leistungsoptionen, woot! Insbesondere keine Aufmerksamkeit von Programmmanagern, die sich mit Benutzeroberfläche oder Benutzerfreundlichkeit befassen . Es ist also ein rohes Stück Kraft, das genutzt oder missbraucht werden kann! - auf eigenes Risiko.
(Eine gute Faustregel: Verwenden Sie keine Befehlszeilenoptionen, die Sie nicht wirklich verstehen.)
Informationen, die Sie möglicherweise über den Dateizugriff im Sicherungsmodus wissen möchten:
https://isc.sans.edu/forums/diary/Use+The+Privilege/20483/
https://docs.microsoft.com/en-us/windows/desktop/api/FileAPI/nf- fileapi-createfilea
https://docs.microsoft.com/en-us/windows/desktop/FileIO/file-security-and-access-rights
Вот последующие результаты с использованием других предоставленных ответов и тестирование с дедуплицированным адресатом. ( Мета: Я не знаю, следует ли мне включать это как правку в конец моего исходного вопроса. )
Командная строка Robocopy эволюционировала и теперь выглядит так:
robocopy \\OLD-SERVER\e$\ \\NEW-SERVER\e$\ /MIR /COPYALL /DCOPY:DAT /NP /Z /B /J /SL /MT:128 /R:1 /W:10 /LOG+:robocopy-log.txt /TEE /XD "Recycler" "Recycled" "$Recycle.bin" "System Volume Information" /XF "pagefile.sys" "swapfile.sys" "hiberfil.sys"
Параметры и цель:
- / MIR - Отразить источник в место назначения и удалить файлы и каталоги в месте назначения, если они больше не присутствуют в источнике
- / COPYALL - Копировать всю информацию о файле: данные, атрибуты и временные метки, ACL безопасности NTFS, информация о владельце, информация аудита (не все включены по умолчанию)
- / DCOPY: DAT - копировать всю информацию о каталоге - данные, атрибуты, временные метки (исходная временная метка создания не копируется по умолчанию; обычно это изменяется на дату что он был скопирован Robocopy)
- / NP - Не отображать прогресс
- / Z - Использовать перезапускаемый режим
- / B - Копировать файлы в режиме резервного копирования (я не знаю, нужно ли это пользователю каталоги, в которых они являются исключительным владельцем, за исключением администратора.Эта опция уничтожит дедуплицированный целевой том без исключения «Информация о системном томе»)
- / J - Копирование с использованием небуферизованного ввода-вывода (более быстрое копирование больших файлов с несколькими гигабайтами)
- / SL - Копирование символических ссылок, а не target
- / MT: 128 - Использовать максимальное количество потоков ЦП (лучше использовать 10-гигабитный Ethernet и много ядер ЦП)
- / R: 1 - Если ошибка доступа к файлу, повторите попытку 1 раз
- / W: 10 - Если ошибка доступа к файлу, подождите 10 секунд перед повторной попыткой
- / LOG + - Записать вывод в текстовый файл, добавить, если файл журнала уже существует
- / TEE - Распечатать результаты на экране и в файл журнала
- / XD - Исключить каталоги , и все в них. Имена с пробелами в них должны быть заключены в кавычки: "Recycler" "Recycled" "$ Recycle.bin" "Информация о системном томе"
- / XF - Исключить файлы: файлы виртуальной памяти и гибернации, если они присутствуют на источник: "pagefile.sys" "swapfile.sys" "hiberfil.sys"
Окончательный повторный запуск:
Total Copied Skipped Mismatch FAILED Extras
Dirs : 158189 153466 158186 0 0 0
Files : 1116292 0 1116296 0 0 0
Bytes : 1.350 t 0 1.350 t 0 0 0
Times : 0:01:04 0:00:00 0:00:00 0:01:04
,
Кроме того, я не знаю надлежащих каналов для сообщения об ошибках в Microsoft, но у меня есть ссылка на это обсуждение в нижней части документации Microsoft по дедупликации на их веб-сайте Windows IT Pro Center :
https://docs.microsoft.com/en-us/windows-server/storage/data -deduplication / overview
Думаю, вы не знаете, что это robocopy / Robocopy - это надежная команда копирования файлов для командной строки Windows, которая позволяет копировать файлы, каталоги и даже диски из одного места в другое. Если вам нужна дополнительная информация, проверьте эту статью https://rocketfiles.com/articles/what-is-robocopy-in-windows
Может быть, это только я, но моя первая мысль была - никогда не пытайтесь копировать сам диск "e$". Я бы когда-либо выполнял Robocopy только определенные папки, созданные для пользовательского контента, а не какие-либо системные папки, созданные самой Windows.