Как я могу создать несколько идентичных экземпляров сервера AWS EC2 с большими объемами персистентных данных?
Ignacio ответил на непосредственную проблему, но одну подсказку: существует параметр справки / для любой подпрограммы сетевой команды. Так, net use /help шоу Вы все необходимо знать для соединения с сетевыми ресурсами, и с net /help Вы получаете обзор полной программы.
Если данные практически не меняются, поместите их в том EBS и сделайте их снимок. Когда вы запускаете каждый новый узел, заставляйте его создавать новый том на основе снимка и монтировать его. Создание моментального снимка - довольно медленный процесс, но создание томов на основе моментального снимка происходит на удивление быстро!
Если ваши данные немного изменяются, их размещение в S3 - более простой процесс в обслуживании, и сотни узлов могут извлекать данные одновременно. без заметного снижения скорости (по сравнению с одним узлом, загружающим данные). В целом это будет медленнее, чем описанный выше метод EBS, но его будет проще реализовать и поддерживать.
Поместите файл данных в S3.
Создайте «главный» экземпляр на основе EBS:
- Подключите хранилище экземпляра во время создания экземпляра
- При загрузке скопируйте большие данные файл в том экземпляра
- Обработка данных локально
Создайте AMI вашего экземпляра и запустите 100 экземпляров из вашего AMI.
Преимущество этого заключается в том, что каждый экземпляр имеет свою собственную локальную копию данных, а вы не будет тратить деньги на хранение нескольких копий данных на томах EBS. Недостатком будет время для копирования файла данных из S3 при запуске, но после копирования обработка файла должна быть быстрой, поскольку он будет локальным.
Параметры:
Используйте корзину S3 для хранения ваших входных данных. Смонтируйте его на нескольких рабочих экземплярах.
Создайте «главный» экземпляр, который делится входными файлами с вашего тома EBS (например, через NFS) с вашими рабочими экземплярами.