Хранить большие файлы в Google Cloud Storage без локальной копии
Я хотел бы хранить большие двоичные файлы (файлы mongodump bson) в корзине Google Cloud Storage, смонтированной на экземпляре Google Compute через gcsfuse. Все работает хорошо, за исключением того, что fuse копирует каждый файл во временную папку каждый раз, когда я пишу файл. Мой вариант использования заключается в хранении файлов размером до 4 ТБ на GCS, чтобы уменьшить наши затраты на хранение, но если мне нужно сохранить диск, достаточно большой для временных файлов, GCS не снижает мои расходы, поскольку я должен хранить оба типа хранилища (диск и GCS).
Есть ли способ записывать большие файлы в смонтированный сегмент GCS без использования всего этого временного пространства на экземпляре GC?
Вот способ получить тот же результат, но без установки ведра GCS. Просто воспользуйтесь возможностью потоковой загрузки из gsutil, чтобы напрямую вывести вывод из mongodump в ковш:
mongodump -d DBNAME -c COLLECTIONNAME --out - | gsutil cp - gs://cold-backups/daily/COLLECTIONNAME.bson
Смотрите https://cloud.google.com/storage/docs/streaming для получения дополнительной информации.
.