Как уменьшить потребление памяти ?
У меня есть сеть с живыми серверами, серверами приема пользователей, промежуточными серверами и серверами разработки (в данном случае Windows в основном 2012r2, все гостевые системы Hyper-V). Каждая из этих частей сети имеет внешний и внутренний сервер. Внутренние серверы содержат пропорционально большие объемы данных. На серверах приема пользователей, промежуточных серверов и серверов разработки эти данные не изменяются (за исключением периодического обновления в режиме реального времени), и к ним редко обращаются вне цикла разработки.
Как в среде этого типа минимизировать потребление хранилища и не тратить его впустую? место на статических и редко используемых данных. Данные состоят из тысяч файлов, таких как pdf, json, dwgs и png.
То, что я рассмотрел.
Удаление серверов, когда они не используются - Не лучший вариант, поскольку иногда время на восстановление этих серверов взвешивает время, которое разработчики собираются использовать. Нашим решением для резервного копирования является MS Data Protection Manager.
Удаление дисков с данными, когда они не используются - Немного лучше, чем указано выше, но опять же, время имеет значение.
Перемещение дисков с данными между серверами - Поскольку они являются гостевыми Hyper-V, я могу просто прикрепить диски с данными по мере необходимости, однако бывают случаи, когда одновременно используется более одной среды.
Вы можете попробовать несколько гибридных файловых серверов, один из которых выгружает «холодные» данные в общедоступное облако, где хранение дешевое (S3) или почти бесплатное (Glacier). Если у вас есть корпоративное соглашение в Azure, вы можете попробовать StorSimple от Microsoft, как физический, так и виртуальный.
https://azure.microsoft.com/en-us/services/storsimple/
Насуни тоже хорош, но пока у него нет надежного SMB3.
Поскольку ваши гости - Windows 2012 R2, вы можете запустить дедупликацию внутри виртуальной машины. За исключением начального обхода, я обнаружил, что он не требует больших ресурсов. На хранилищах документов моя экономия составила 55% или больше.
Если ваше хранилище находилось на сервере Windows (дисковые пространства и т.п.), вы могли вывести данные из хранилища VHD. Использование параметра VDI при настройке дедупликации на томе включает дедупликацию открытых VHD. См. https://technet.microsoft.com/en-us/library/dn486808.aspx
На рынке много интересных решений, я не пробовал "Насуни", но выглядит подходящим. Также, Вы можете взглянуть на Aclouda, которая может использоваться в качестве аппаратного шлюза и представлять облачное хранилище в качестве локального диска, а также автоматически выгружать данные в облако. Оно может быть установлено на локальном сервере в виде диска SATA/SAS с подключением к облаку либо Amazon, либо Azure. http://aclouda.com/
Поскольку у вас есть значительный большой объем данных, которые не сильно меняются со временем, я настоятельно рекомендую вам реализовать какое-то многоуровневое хранение (должны подходить дисковые пространства с автоматическим многоуровневым распределением). Идея состоит в том, что «горячий» уровень, то есть локальное хранилище, должен содержать самые свежие данные, к которым необходимо быстро получить доступ, а «холодный» уровень может быть выгружен в облако.
Идея не нова - Насуни https://www.nasuni.com/ делает вещи, очень похожие на этот подход. Самостоятельным вариантом является S3Fuse https://www.interserver.net/tips/kb/mount-s3-bucket-centos-ubuntu-using-s3fs/ , который позволяет монтировать облачное хранилище как локальное водить машину. StorSimple https://azure.microsoft.com/en-us/services/storsimple/ - еще один вариант, но он строго привязан к Azure.
Если вы не хотите устанавливать / настраивать и поддерживать любое дополнительное программное обеспечение, которое вы можете использовать с аппаратным шлюзом, например AcloudA http://aclouda.com/ , которое будет выполнять эту работу без необходимости в дополнительном программном обеспечении или драйверах.