Самый быстрый способ локального копирования файлов в Linux

Поэтому по соображениям производительности я решил переместить 2 ТБ небольших файлов, случайно записанных в течение некоторого времени - с жесткого диска SATA емкостью 14 ТБ на твердотельный накопитель m.2 NVME объемом 4 ТБ, оба подключенных локально.

Два дня подряд я пытался добиться приемлемой производительности копирования.

cp получает ~ 15 МБ / с, что дает мне оценку около двух дней безостановочного копирования

rsync еще хуже - ~ 5 МБ / с

Я думаю, низкая производительность связана с к случайному физическому расположению на блюде, которое приводит меня к отметкам о «произвольном чтении».

Тем не менее, я почти уверен, что эти 2 ТБ файлов представляют собой полусреднюю область диска 14 ТБ, поэтому простое dd использование этой области даже с 20% -ными накладными расходами даст мне номинальное последовательное чтение близко к 200 МБ / с. Я просто выброшу ненужные мне файлы, но я не могу найти ни одного программного обеспечения / метода, который бы сделал это таким образом.

У меня вопрос, каков самый быстрый способ локального копирования файлов в 2021 году?

0
задан 5 July 2021 в 08:40
1 ответ

Нет, это не из-за фрагментации, небольшие файлы на механическом диске копируются очень медленно. Лучше подождать. На этот раз никакой волшебной пули.

1
ответ дан 28 July 2021 в 14:06

Теги

Похожие вопросы