12
ответов
Передайте 10 ТБ файлов от США до британского центра обработки данных
Я перемещаю свой сервер от США до Великобритании от одного дата-центра до другого. Мой хост сказал, что я должен смочь достигнуть 11 мегабайт в секунду. Операционная система является Windows Server 2008 в обоих...
вопрос задан: 21 May 2018 02:01
8
ответов
Конфигурация RAID 6 на 24 ТБ
Я отвечаю за новый веб-сайт в нишевой промышленности, которая хранит много данных (10 + ТБ на клиент, растя до 2 или 3 клиентов скоро). Мы рассматриваем приказывающую ценность за 5 000$ дисков на 3 ТБ (10 в...
вопрос задан: 6 June 2011 22:30
6
ответов
Таблицы SQL Server 2000
У нас в настоящее время есть база данных SQL Server 2000 с одной таблицей, содержащей данные для многочисленных пользователей. Данные включаются memberid, который является целочисленным полем. Таблица имеет кластерный индекс на memberid...
вопрос задан: 29 April 2010 19:38
3
ответа
Могу ли я проверить загрузку большого файла по частям через http
Я загружаю большой файл через http через wget, 1,2 ТБ. Загрузка занимает около недели и уже дважды содержала повреждения (не удалось выполнить проверку md5, для выполнения которой требуется несколько дней). Есть ли хороший ...
вопрос задан: 24 October 2017 22:19
3
ответа
В Bash подстановочные расширения, как гарантируют, будут в порядке?
Расширение подстановочного знака в Bash, гарантировал, что был в алфавитном порядке? Я вынужден разделить большой файл на части на 10 Мбит так, чтобы они могли быть быть принятыми моим Подвижным репозиторием. Таким образом, я был...
вопрос задан: 26 May 2015 20:11
3
ответа
Как крупные компании копируют свои данные?
Как делают компании, которые обрабатывают большие объемы данных, например, Google или Facebook, копируют все? В соответствии с этой статьей платформы Google о Википедии, Google имеет приблизительно 450,000 + серверы...
вопрос задан: 18 November 2010 02:34
3
ответа
Синхронизируйте большие доли файла
Между чем лучший способ состоит в том, чтобы синхронизировать большие наборы файлов географически разделить местоположения так, чтобы оба места имели тот же файл? У нас есть постоянно изменяющаяся доля файла на 500 ГБ в Location1...
вопрос задан: 22 June 2010 21:10
2
ответа
Перемещение очень большого (~100 Гбит) от одного сервера до другого
Мы перемещаем серверы, и я должен передать все данные с Сервера к Серверу B. У меня есть tar.gz приблизительно 100 ГБ, который содержит весь Сервер файлы. Я действительно хотел бы постараться не загружать...
вопрос задан: 1 July 2015 05:35
2
ответа
Лучше использовать rsync по SSHFS или по CIFS как удаленный репозиторий, не имея никакой опции для rsyncd?
У меня есть NAS, который только способен к CIFS, AFS, SSH (никакие rsyncd возможности, никакой NFS). Я должен скопировать очень большие файлы (vm изображения), и я обычно устанавливал rsync сервер на устройстве резервного копирования затем, я делаю...
вопрос задан: 14 April 2015 12:38
2
ответа
Действительно ли rsync является хорошим кандидатом на реализацию обработки отказа (очень большой набор данных)?
У меня есть большой ряд данных (+100 ГБ), которые могут быть сохранены в файлы. Большинство файлов было бы в диапазоне 5k-50k (80%), затем 50k - 500k (15%) и> 500k (5%). Максимальный ожидаемый размер файла...
вопрос задан: 30 November 2012 03:38
2
ответа
HGST на 4 ТБ диск SATA только показывает 1,62 ТБ в Windows Server 2012
Я использую Супермикро материнскую плату X9SRE-3F с последним BIOS и 2x диски на 4 ТБ, подключенные к встроенному контроллеру SATA. Если я установил BIOS на RAID и создаю массив RAID 1, массив обнаруживается...
вопрос задан: 16 September 2012 18:46
2
ответа
Отказ в обслуживании Tomcat из-за больших пакетов
Я задал этот вопрос на ITSecurity, но я чувствовал, что этот вопрос лучше помещается сюда. На недавней оценке я нашел, что отправка большого (> 5 МБ) запрашивает к 100%-му использованию ЦП причин сервера кота на...
вопрос задан: 2 August 2012 20:00
2
ответа
Увеличивая размер, доступный, или изменяя местоположение,/tmp
Я в настоящее время отвечаю за сервер рабочий Red Hat и веб-приложение биоинформатики, которое имеет дело с огромными файлами, некоторые из которых составляют более чем 100 ГБ при распаковке. Действие распаковки этих файлов...
вопрос задан: 14 March 2012 18:44
2
ответа
Импортируйте файл CSV на 260 ГБ в MySQL
У меня есть действительно большой csv ~260GB, и я хочу импортировать его в MySQL. Я использую следующий mysql сценарий в DROP TABLE MacOS, ЕСЛИ СУЩЕСТВУЕТ tmp_catpath_5; создайте таблицу tmp_catpath_5 (a1 BIGINT (20)...
вопрос задан: 13 January 2012 03:22
1
ответ
GCSFuse v0.33.2 - Сбой загрузки больших объектов (11 ГБ) в GCSBucket
Получение следующих ошибок при попытке загрузить файл размером 11 ГБ в корзину; Кроме того, файловая система переходит в "????????" поскольку мы не можем перечислить объекты, доступные в корзине.
Для этого требуется umount и ...
вопрос задан: 25 March 2021 14:10
1
ответ
Varnish дает сбой при работе с большими файлами
В целом я обслуживаю очень маленькие файлы. Подумайте об изображениях и небольших видеороликах. Кэширование их с помощью Varnish очень просто и не вызывает у меня никаких проблем.
У меня проблема, когда я загружаю ...
вопрос задан: 27 August 2020 01:06
1
ответ
Несколько дисков действуют как одна файловая система, в то время как все еще разрешая доступ к каждому диску в одиночку
У меня есть довольно большой набор данных (~ 160 ТБ), который нужно так часто доставлять клиенту. Этот набор данных состоит из довольно больших файлов, обычно от 2 до 20 ГБ каждый. Они существуют на BeeGFS ...
вопрос задан: 14 April 2020 20:29
1
ответ
Чтение 65k строки подвешивает PHP/MySQL
Я разрабатываю приложение PHP, которое обрабатывает адреса IP. Я работаю с mysql таблицами, содержащими до 4 миллиардов строк. У меня есть сценарий, который в настоящее время должен выбирать 65 536 адресов от этого...
вопрос задан: 25 June 2015 21:10
1
ответ
mysqld: несколько tmpdir и балансировка
Наш 1 ТБ tempdir может иногда полностью использоваться mysqld, приводящим к ошибкам запроса и полному диску. Это может произойти из-за большого количества запросов среднего размера или нескольких очень больших запросов. У нас есть набег на 5 ТБ...
вопрос задан: 16 October 2014 16:04
1
ответ
Решения для резервного копирования 40 ТБ данных / 35 миллионов файлов на одном диске [закрыто]
У меня есть сервер с 40 ТБ данных и 35 миллионами файлов. Хотя на самом сервере есть рейды и все такое, меня беспокоит, что произойдет, если что-то физически уничтожит сервер (огонь, ...
вопрос задан: 27 September 2012 18:47