Создание высокопроизводительного файлового сервера с помощью SSD в качестве кэша
Я хочу создать файловый сервер, который служит ~50 ТБ содержания его пользователям. Для максимизации пропускной способности сервера я собираюсь использовать следовать сценарий.
- 50 ТБ устройства хранения данных жесткого диска. Все статические файлы находятся здесь.
- 6 ТБ устройства хранения данных SSD. Это будет действовать как кэш для большинства популярного содержания.
- Диспетчер кэша, который решает то, что должно находиться на жестком диске или SSD.
На основе этой архитектуры самые популярные файлы скопированы в твердотельные диски и поданы оттуда. Диспетчер кэша является специализированным программным обеспечением, разработанным на основе моих характеристик приложения.
У меня было несколько вопросов относительно этого плана.
- Я должен быть взволнован по поводу пределов записи SSD?
- Есть ли какая-либо платформа кэша, которую я могу использовать для записи моего диспетчера кэша специального назначения, на основе моих собственных правил?
Хотя ZFS может это сделать, как говорит ewwhite, другим решением может быть bcache . Я использую это в совершенно другом сценарии (жесткий диск 2 ТБ и твердотельный накопитель 128 ГБ в моем ноутбуке, использование bcache значительно облегчает загрузку Civ V ;-)), но это работает очень хорошо.
В зависимости от того, как вы обслуживаете файлы. , вы также можете рассмотреть что-то вроде Varnish , которое вы настраиваете для использования SSD в качестве хранилища кэша.
Что касается использования ваших собственных правил, не делайте этого. Многие умные люди работали над этой проблемой, вы хотите встать на их плечи, ИМХО.
В зависимости от того, как часто вы ожидаете изменения наиболее часто используемого контента, я бы не стал беспокоиться о производительности записи SSD. Или поместите свои твердотельные накопители в массив RAID10, чтобы добиться от них еще большей производительности. Кроме того, добавьте много оперативной памяти, чтобы файлы можно было кэшировать в ядре в блочном кэше памяти.
Я полагаю, все это предполагает машину с Linux.