GlusterFS как эластичное хранилище файлов?

(Извините это было некоторое время, так как вопрос был отправлен, но надо надеяться эта информация будет полезна для OP и/или будущих посетителей...),

Ваши предположения выше обычно корректны. NetStorage является размещенным сервисом источника, в облаке Akamai, на их магистрали.

Стоимость ре, я полагаю, что NetStorage является бесплатной опцией, по крайней мере, с определенным уровнем обслуживания, но необходимо было бы попросить, чтобы они были уверены.

Компания, на которую я работаю, добирается о 4M запросы в день для наших статических объектов, и мы используем Akamai. Мы в настоящее время переключаемся на NetStorage, и я сделал изрядное количество измерения и тестирования в их сети подготовки в ожидании переключателя. Нам основные соображения были:

Скорость края к источнику и отношение удачного обращения в кэш - который является действительно функцией трафика. Разница в пользовательском опыте может быть большой или незначительной в зависимости от (1) как быстро граничные серверы Akamai могут достигнуть Вашего источника и (2) как часто каждый граничный сервер получает запросы на Ваши объекты.

  • Если граничный сервер должен запросить объект от Вашего источника, имеет значение, как быстро Ваш источник может ответить. NetStorage будет почти всегда отвечать быстрее, чем Ваш сервер источника, потому что NetStorage находится в сети Akamai и оптимизирован для точно этого.

  • И/но: чем больше Ваших объектов кэшируется в их граничных серверах, тем меньше имеет значение, как быстро Ваш источник (или их) отвечает на те граничные запросы серверов. Таким образом, если Ваши объекты получают большой трафик (и/или Ваш источник находится на быстром сервере и имеет очень быстрое соединение с граничной сетью Akamai), это не могло бы иметь большого значения вообще. Но если Вы - малый и средний транспортный сайт, и граничные серверы Akamai часто очищают Ваши объекты из своих кэшей для создания места для других объектов, затем он может иметь большое значение. Это верно, что Akamai имеет много граничных серверов и что они иногда могут получать кэшируемые объекты от соседних граничных серверов, но если Ваши объекты не находятся в кэшах тех соседей, также, Вы могли бы все еще закончить с большим количеством хитов на Вашем источнике.

  • Для ссылки у нас есть довольно агрессивная политика кэша браузера для большинства наших объектов, но наш источник все еще получает запросы от граничных серверов Akamai приблизительно для 25%-30% из тех 4M + запросы каждый день.

Администратор. Без NetStorage, очевидно, необходимо разместить (или хостинг расположения для) собственный сервер источника, что означает конфигурацию, обслуживание, контроль, бюджет, и т.д. NetStorage является в основном бесплатным размещением. В зависимости от Вашего концерта это могло быть большой победой до некоторой степени. НО...

Другой Администратор. NetStorage идет со своими собственными стычками и некоторыми ограничениями. Например:

  • Если Вы будете заботиться о своих URL, являющихся нечувствительным к регистру, но иметь имена файлов смешанного случая и filepaths, то необходимо будет преобразовать их, чтобы все-понизиться или все-верхний каждый раз, когда Вы загружаете их.

  • Управление файлами NetStorage оставляет желать лучшего. Нет никаких сценариев для разговора о; можно загрузить и загрузить, но удаляющий любой большой # файлов берет навсегда.

  • Размер папки по существу ограничен 10 000 файлов на папку (несмотря на документацию, в которой говорится, что предел 50,000).

Еще одной вещью, о которой можно хотеть знать, является опция "Midgress". Если Вы не хотите использовать NetStorage и нуждаться в лучшем отношении удачного обращения в кэш и меньшем количестве хитов к Вашему источнику, можно заплатить дополнительный за средний уровень серверов кэширования, вставленных между граничными серверами и источником. Это фактически гарантирует более низкую круговую задержку (граничный сервер спрашивает более локальный midgress сервер вместо того, чтобы идти прямо в Ваш сервер источника), и высокое отношение удачного обращения в кэш. Мы попробовали его однажды, и это работало вполне прилично, но стоимость была больше, чем мы хотели заплатить.

Удачи,

Aaron

2
задан 26 June 2011 в 07:23
1 ответ

Я не предлагаю линейно увеличивать количество реплик для ваших веб-воркеров. это кажется мне довольно пустой тратой места.

Вместо этого я бы сделал профилирование вашей веб-нагрузки и с самого начала определил разумное количество реплик. затем, когда добавляются новые рабочие, просто разверните новые узлы gluster $ replica_count и добавьте их в качестве полосового блока к существующим томам; после перебалансировки у вас будет больше производительности и больше возможностей. Если вам нужно уменьшить масштаб, вы всегда можете удалить узлы $ replica_count без потери данных.

Что касается ограничений безопасности, попробуйте использовать zfs в качестве базовых файловых систем, так как это обеспечивает высокую устойчивость к потере данных.

0
ответ дан 3 December 2019 в 15:56

Теги

Похожие вопросы