Как разместить очень большую базу данных SQL в Azure?
У меня есть база данных с приростом более 100 ГБ в неделю и 5 ТБ ежегодно.
Поскольку это финансовые данные, мы не можем очистить их. Если мы будем хранить эти данные не менее 10 лет, размер станет 50 ТБ.
Пожалуйста, предложите, как мы можем разместить этот объем данных на виртуальных машинах Azure с ограничением в 1 ТБ диска в Azure.
Спасибо, Subhendu
На самом деле есть два подхода, которые вы можете использовать с этим:
Хранилище данных SQL Azure использует подход, аналогичный тому, что вы делаете сейчас, используя виртуальную машину, на которой выполняется SQL, но сочетает его с хранилищем Azure и уровнем управления, чтобы помочь вам распределить данные по нескольким узлам и нескольким местам хранения. Это также позволяет масштабировать вычислительные ресурсы в соответствии с требованиями нагрузки.
Эластичная база данных Azure SQL вместо этого использует службу Azure SQL PaaS, а не виртуальные машины, и работает с сегментированием данных по нескольким экземплярам. Он предоставляет клиентские библиотеки и механизм заданий, которые помогут вам выполнять запросы по нескольким сегментам.
Ответ Сэма Когана точный. Но несколько других моих предложений:
Используйте кластерные хранилища столбцов. Эти 50 ТБ могут быстро превратиться в 2-10 ТБ на диске после сжатия.
Виртуальная машина GS5 (самая большая на данный момент) может иметь 64 диска по 1 ТБ каждый, подключенных и распределенных в гигантский пул хранения.
Если вы выберете самую большую виртуальную машину и подключите максимальное количество дисков, вы можете рассмотреть возможность использования файлов данных SQL в хранилище больших двоичных объектов в дополнение к файлам данных SQL на диске.Таким образом можно легко получить 50 ТБ.