Переведите большую сумму маленьких файлов
Я должен сделать миграцию двух серверов с большими вложениями SAN к нашей новой среде VMware.
Править: Я должен предоставить некоторую дополнительную аналитику, поскольку у меня есть хорошие ответы относительно решения VMware.
Хорошо так, я не могу присоединить предыдущий LUN EMC в Новой системе из-за некоторых технологических ограничений на сервер.
Я не могу использовать VMware Converter для клонирования недостающих объемов на моем новом VM, поскольку VMware Converter не видит Псевдоустройства EMC PowerPath и что предыдущий администратор привык их Псевдоустройство для созданного LVM2 и/или объемов ASM сверху.
Те два сервера медосмотров присоединены к старой EMC ² CX-340 SAN и обрабатывают 5 ТБ данных.
Теми 5 ТБ данных является маленький PDF, и я должен передать их новой машине через нашу 1Gbit/s LAN.
Я попытался использовать rsync, но это должно действительно замедлить и оказать сильное влияние на RAM и производительность ЦП.
У меня есть попытка с помощью NC с TAR, но скорость передачи является довольно медленной, поскольку у меня есть средняя пропускная способность приблизительно 50MB/s на ссылке 1Gbit/s с едва нулевым трафиком.
Вы могли дать мне некоторый совет или возврат опыта с этим видом миграции и как Вам удается закончить его правильно в разумном количестве времени?
Если вам действительно нужен быстрый способ передачи файлов, и обе системы основаны на Linux, вы можете попробовать UDR .
Это действительно форма rsync-over-UDP (с использованием среды UDT с открытым исходным кодом ) и особенно удобна для перемещения большого количества файлов или передачи по каналам с высокой пропускной способностью или высокой задержкой. . Кроме того, шифрование по умолчанию отключено, поэтому нагрузка на ОЗУ / ЦП ниже, чем у традиционного rsync. SSH тоже не задействован.
Я могу легко получить передачу данных на скорости более 1 Гбит / с с 10 миллионами маленьких файлов TIFF в дереве каталогов.
Ваш синтаксис будет немного изменен по сравнению с rsync. Все флаги rsync должны появляться перед спецификацией источника / назначения:
udr rsync -avP --stats --delete /data/ server2:/data/
Простота сборки ... Вам понадобится g ++ и openssl-devel :
git clone https://github.com/LabAdvComp/UDR.git
cd UDR/
make
cp src/udr /usr/local/bin/
Сделайте это на источник и место назначения.
При использовании в режиме демона без шифрования rsync может эффективно передавать большое количество небольших файлов. Еще раз попробуйте использовать его в режиме демона.
Разве вы не думали о том, чтобы предоставлять LUN-ы SAN напрямую новым виртуальным машинам - обычно это работает нормально и может быть быстрее, чем копирование файлов в VMDK, хотя и может «заблокировать» виртуальные машины на их первоначальный хост. Но вы можете использовать это, чтобы начать работу, а затем перенести файлы в VMDK в удобном для вас темпе - с помощью rsync - а затем отключить ссылку на исходные LUN.
Если целевые виртуальные машины еще не созданы, вы можете попробовать использовать бесплатный VMware Converter для копирования данных.
Фактически, даже если они созданы, вы можете клонировать диски к фиктивной виртуальной машине, а затем присоединить их к существующей виртуальной машине, как только будет выполнено клонирование.
В любом случае конвертер использует два метода для клонирования файлов из источника в место назначения, полную информацию о которых можно найти здесь .
Если целевые диски настроены на меньше , чем исходный, он будет клонировать отдельные файлы в новую виртуальную машину.
Однако, если целевые диски настроены на равными или большими , он клонирует блоки. Это сделало бы количество файлов на диске в значительной степени несущественным, и он должен работать относительно быстро.
Я сомневаюсь, что вы заполните канал 1 Гбит / с, но вы должны получить более 50 Мбит / с.
Просто помните, что вы все еще собирается переместить 5 ТБ, так что это займет некоторое время.