Масштабирование больших загрузок файла?

Это не плохая архитектура (сквид является популярным обратным прокси), однако если Вы ожидаете экспоненциальный рост, Сеть доставки контента могла бы быть лучшим решением - Вы только платите за содержание, которого Вы требуете, масштабы пропускной способности немедленно (Вы не должны масштабировать горизонтально больше серверов), и передающий передачу потоком определен геолокацию к серверам максимально близко к клиенту, гарантировав, чтобы они получили максимальные скорости передачи. Однако я никогда не пробовал это файлами 1 ГБ, и стоимость может быть чрезмерной.

Технологию потока можно считать как p2p CDN в этом случае, и как таковой, некоторые из этих поставщиков могут подойти, поскольку поток отбирает для Вашего содержания, уменьшая Ваши общие затраты пропускной способности и (возможно) увеличивая скорость, хотя это зависит от Ваших развратников.

Если Вы в настоящее время не делаете этого, может стоить исследовать поставку файлов дополнительно по bittorrent для отодвижения части загрузки серверов и на сеть P2P.

Что Вы пытаетесь масштабировать, вот Ваш IO.

Используя кэширующийся прокси как сквид или лак способ заполнить кэш для увеличения шпинделей, не копируя low/none-used файлы в архиве. Устройства CDN делают это для Вас также. Эти медиа файлов? Устройства CDN могут сделать потоковую передачу для Вас также.

Пользователи получают отказы загрузки файла и часто повторно делают попытку загрузки? Высокий уровень повторной попытки значительно увеличит Ваши потребности IO.

Вы имеете какой-либо контроль над тем, как файлы выбираются? менеджер загрузок может выбрать каждый файл в отдельных блоках, таким образом, разделяя запрос по нескольким апачам со временем (хотя они могли также загрузить параллельно, насыщая Ваш интернет-канал).

Как ссылка 'опыта', я только когда-либо был в средах, которые помещают все эти данные на NAS (NetApp в особенности) и используют апачей с NFS для поставки файлов (хотя было много меньших файлов, не на 1 ГБ). Мы также использовали CDN в качестве кэширующегося прокси для потоковой передачи видео.

Мой вопрос состоит в том, как Вы знаете, что Вы - IO, связанный для начала? Это просто кажется мне нечетный, что Ваши диски не могут не отставать от загрузок по HTTP (принимающий дело обстоит так здесь и не HTTPS).

Если у Вас есть большая база пользователей затем, решение CDN кажется применимым, как указали другие. Мы используем Akami для распределения нагрузки. Предположение здесь - то, что Вы подаете эти файлы по PI (общедоступный Интернет) по сравнению с некоторым внутренне размещенным решением только в коммутируемой сети или 1000 МБ 100 МБ.

Действительно ли возможно, что Вы чувствуете медленные загрузки как дисковую IO проблему, когда это могла бы быть интернет-проблема пропускной способности вместо этого? (снова, причем предположение, это - сайт направления PI).

Существует столько способов увеличить диск IO - можно использовать SAN или RAID; оба обеспечивают некоторый уровень кэширования. Я не могу думать ни о каком Интернет-соединении, которое опередило бы способность единственного SAN HBA или Двойной SAN, HBA (объединял выполнение в команду) в 2Gb/s/hba или локальном устройстве хранения данных через RAID с поддержкой Кэша, соединенной через шину PCI-E.

Мы говорим, Концерт-E подключил клиенты к тому же подключенному серверу?

Одна возможная архитектура я рассматривал использование nginx как, frontend и это поддерживается несколькими экземплярами Лака. Было также рассмотрение добавления второго уровня основной лак к той дуге (т.е. получения по запросу лака от основного лака).

Кроме этого, необходимо рассмотреть использование CDN, как другие упомянули. В зависимости от какого Вы служите (медиа?), существуют, некоторые специализировали CDNs, которые фокусируются больше на поставке больших файлов, таких как BitGravity.

По каким системам хранения у Вас есть свои данные? И это может быть разделено?

При наличии серверов бэкэнда на физически различных SAN каждый с подмножеством данных, обслуживании для инвертирования машин фронтэнда прокси плюнул бы данными физически и все еще позволил бы им быть обращенными логически то же с внешней стороны.

Nginx очень хорош с потреблением памяти и статическим обслуживанием файлов, поскольку он может разгрузиться к ядру с помощью sendfile (). На Lighttpd нужно также посмотреть, но я услышал, что это менее стабильно (ре. потребление памяти), но не использовали его.

Серверы фронтэнда могут разделить запросы на серверах бэкэнда путем, или шаблоны (Nginx имеет большую поддержку regex.) и может даже перенаправить к различным дата-центрам, если у Вас была потребность. Циклический алгоритм DNS мог бы также быть полезным.

Я успешно использовал Nginx для инвертирования прокси как отказоустойчивого между медленной синхронизацией наборов данных. Это протестировало бы на файл и если бы это не существовало, то это спросило бы сервер бэкэнда по http. Позже это синхронизировалось бы к машинам фронтэнда и будет обычно работать.

Удостоверьтесь, что Вы делаете Вы контролируете статистику через плату. Память, io ожидает, пропускная способность, задержка, средние времена запроса, и т.д. Не контролируя независимо от того, что Вы делаете, стреляет в темноте.

То, что мы делаем, использовать MogileFS, чтобы избыточно хранить наши файлы (дублирование и масштабируемость при наличии каждого файла на нескольких серверах), но иметь пользовательские доступы проходят CDN для скорости и... хорошо, больше масштабируемости.

Мы используем меньший CDN, PantherExpress - их оценка хороша, и набор функций является просто большим. Сети центра внимания и EdgeCast также дали нам хорошие назначенные цены, когда мы присматривались к ценам.

Мне понравился тот PantherExpress, дают Вам хорошую техническую документацию на их функциях, и Вы получаете все функции, которые они имеют за одну цену, а не немного дополнительных денег для этого и еще некоторые дополнительные деньги для этого.