Насколько большой моя таблица дедупликации ZFS в данный момент?
Опцию называют"login":
Используйте базу данных системного пароля для аутентификации однорангового узла, использующего КАШУ, и запишите пользователя в системе wtmp файл. Обратите внимание, что у однорангового узла должна быть запись в/etc/ppp/pap-secrets файл, а также база данных системного пароля, которой предоставят доступ.
Теперь Вам было бы нужно require-pap так как пользователи должны были бы отправить их незашифрованные пароли, но это запускает запах как PBP (Довольно Плохая Конфиденциальность), не так ли? Кроме того, это - PBP даже с MPPE.
Так, заключение, которое было плохой идеей.
Вы можете использовать команду zpool status -D poolname .
Вывод будет выглядеть примерно так:
root@san1:/volumes# zpool status -D vol1
pool: vol1
state: ONLINE
scan: scrub repaired 0 in 4h38m with 0 errors on Sun Mar 24 13:16:12 2013
DDT entries 2459286, size 481 on disk, 392 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 2.23M 35.6G 19.0G 19.0G 2.23M 35.6G 19.0G 19.0G
2 112K 1.75G 1005M 1005M 240K 3.75G 2.09G 2.09G
4 8.03K 129M 73.8M 73.8M 35.4K 566M 324M 324M
8 434 6.78M 3.16M 3.16M 4.61K 73.8M 35.4M 35.4M
16 119 1.86M 811K 811K 2.33K 37.3M 15.3M 15.3M
32 24 384K 34.5K 34.5K 1.13K 18.1M 1.51M 1.51M
64 19 304K 19K 19K 1.63K 26.1M 1.63M 1.63M
128 7 112K 7K 7K 1.26K 20.1M 1.26M 1.26M
256 3 48K 3K 3K 1012 15.8M 1012K 1012K
512 3 48K 3K 3K 2.01K 32.1M 2.01M 2.01M
1K 2 32K 2K 2K 2.61K 41.7M 2.61M 2.61M
2K 1 16K 1K 1K 2.31K 36.9M 2.31M 2.31M
Total 2.35M 37.5G 20.1G 20.1G 2.51M 40.2G 21.5G 21.5G
Важными полями являются Total выделенных блоков и Всего ссылочных блоков. В приведенном выше примере у меня низкий коэффициент дедупликации. 40,2 ГБ хранится на диске в 37,5 ГБ пространства. Или 2,51 миллиона блоков в 2,35 миллиона блоков пространства.
Чтобы получить фактический размер таблицы, см .:
Записи DDT 2459286, размер 481 на диске, 392 в ядре
2459286 * 392 = 964040112 байт Разделите на 1024 и 1024, чтобы получить: 919,3 МБ ОЗУ .
После прочтения исходного почтового потока и ответа @ewwhite's, который его прояснил, я думаю, что на этот вопрос нужен обновленный ответ, так как ответ выше охватывает только половину.
В качестве примера, давайте используем вывод в моем пуле. Я использовал команду zdb -U /data/zfs/zpool.cache -bDDD My_pool. На моей системе мне понадобился дополнительный аргумент -U, чтобы найти файл ZFS кэша для пула, который FreeNAS хранит в другом месте, отличном от обычного; вам может понадобиться, а может и не понадобиться. Обычно сначала попробуйте zdb без -U, и если вы получите ошибку с кэш-файлом, то используйте find / -name "zpool.cache" или аналогичный аргумент, чтобы найти нужный ему файл.
Это был мой реальный вывод и я интерпретировал его ниже:
DDT-sha256-zap-duplicate: 771295 entries, size 512 on disk, 165 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
2 648K 75.8G 68.6G 68.8G 1.39M 165G 149G 149G
4 71.2K 8.07G 6.57G 6.62G 368K 41.7G 34.1G 34.3G
8 28.1K 3.12G 2.34G 2.36G 281K 31.0G 23.1G 23.4G
16 5.07K 424M 232M 241M 110K 9.10G 5.06G 5.24G
32 1.09K 90.6M 51.8M 53.6M 45.8K 3.81G 2.21G 2.28G
64 215 17.0M 8.51M 8.91M 17.6K 1.39G 705M 739M
128 38 2.12M 776K 872K 6.02K 337M 118M 133M
256 13 420K 21.5K 52K 4.63K 125M 7.98M 18.5M
512 3 6K 3K 12K 1.79K 3.44M 1.74M 7.16M
1K 1 128K 1K 4K 1.85K 237M 1.85M 7.42M
2K 1 512 512 4K 3.38K 1.69M 1.69M 13.5M
DDT-sha256-zap-unique: 4637966 entries, size 478 on disk, 154 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 4.42M 550G 498G 500G 4.42M 550G 498G 500G
DDT histogram (aggregated over all DDTs):
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 4.42M 550G 498G 500G 4.42M 550G 498G 500G
2 648K 75.8G 68.6G 68.8G 1.39M 165G 149G 149G
4 71.2K 8.07G 6.57G 6.62G 368K 41.7G 34.1G 34.3G
8 28.1K 3.12G 2.34G 2.36G 281K 31.0G 23.1G 23.4G
16 5.07K 424M 232M 241M 110K 9.10G 5.06G 5.24G
32 1.09K 90.6M 51.8M 53.6M 45.8K 3.81G 2.21G 2.28G
64 215 17.0M 8.51M 8.91M 17.6K 1.39G 705M 739M
128 38 2.12M 776K 872K 6.02K 337M 118M 133M
256 13 420K 21.5K 52K 4.63K 125M 7.98M 18.5M
512 3 6K 3K 12K 1.79K 3.44M 1.74M 7.16M
1K 1 128K 1K 4K 1.85K 237M 1.85M 7.42M
2K 1 512 512 4K 3.38K 1.69M 1.69M 13.5M
Total 5.16M 638G 576G 578G 6.64M 803G 712G 715G
dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39
Что все это значит, и вычисляя реальный размер таблицы дедупликации:
В выводе показаны две подтаблицы, одна для блоков, где существует дубликат (DDT-sha256-zap-duplicate) и одна для блоков, где нет дубликата (DDT-sha256-zap-unique))/. В третьей таблице под ними приведена общая сумма по обоим из них, а под ней - сводная строка. Глядя только на "итоговые" строки, и сводка дает нам то, что нам нужно:
Размер DDT для всех блоков, которые появляются более одного раза ("DDT-sha256-zap-duplicate"):
771295 записей, размер 512 байт на диске, 165 байт в оперативной памяти ("ядро")Размер DDT для блоков, которые являются уникальными ("DDT-sha256-zap-unique"):
4637966 записей, размер 478 байт на диске, 154 байта в оперативной памяти ("ядро")Общая статистика ДДТ для всех записей ДДТ, дубликат + уникальный ("Гистограмма ДДТ, агрегированная по всем ДДТ"):
распределенных блоков, на которые есть ссылки (= фактически использованное дисковое пространство) (= количество вычитаемых данных. в это пространство) ______ ______________________________ ______________________________ Блоки LSIZE PSIZE DSIZE Блоки LSIZE PSIZE DSIZE Всего 5.16M 638G 576G 578G 6.64M 803G 712G 715GРезюме :
дедуп = 1.24, сжатие = 1.13, копии = 1.00, дедуп * сжатие / копии = 1.39
Давайте сделаем скринчинг чисел.
Счетчик блоков работает следующим образом: Количество записей, связанных с дублирующимися блоками = 771295, количество записей, связанных с уникальными блоками = 4637966, общее количество записей в таблице DDT должно быть 771295+4637966 = 5409261. Таким образом, количество блоков в миллионах (двоичных миллионах, то есть!) составит 5409261 / (1024^2) = 5,158 миллионов. В итоге мы находим 5.16М блоков всего .
Необходимая оперативная память работает следующим образом: 771295 записей для дублирующих блоков каждая занимает в оперативной памяти 165 байт, а 4637966 записей для уникальных блоков каждая занимает в оперативной памяти 154 байта, таким образом, суммарная оперативная память, необходимая для таблицы вычитания прямо сейчас = 841510439 байт = 841510439 / (1024^2) Мбайт = 803 Мбайт = 0. 78 Гб оперативной памяти.
(Используемый размер на диске может быть рассчитан таким же образом, используя цифры "размер на диске". Очевидно, что ZFS пытается эффективно использовать дисковый ввод/вывод и использует тот факт, что дисковое пространство, занимаемое DDT, обычно не является проблемой. Поэтому выглядит так, будто ZFS просто выделяет полный сектор размером 512 байт для каждой записи, или что-то в этом роде, а не только 154 или 165 байт, чтобы сохранить его эффективность. Это может и не включать в себя учет нескольких копий, хранящихся на диске, что ZFS обычно и делает)Общий объем хранимых данных и выгода от их вычитания: Из общей статистики DDT 715 Гбайт ("715 Гб") данных хранится с использованием всего 578 Гбайт ("578 Гб") выделенного хранилища на дисках. Таким образом, наш коэффициент экономии дискового пространства составляет (715 ГБ данных) / (578 ГБ пространства используется после вычета) = 1.237 x, о чем и говорит резюме ("вычет = 1.24").