4
ответа
В Hadoop, как показать текущий процесс-copyFromLocal
Я - все еще ученик новичка Hadoop, и на этот раз я пытался обработать файл на 106 ГБ. Я использовал-copyFromLocal для копирования того большого файла в мой DFS Hadoop, но так как файл является большим, я должен ожидать...
вопрос задан: 11 April 2014 07:15
4
ответа
Узел данных HDFS запускает сбои, когда диски полны
Наш кластер HDFS только на 90% полон, но некоторые узлы данных имеют некоторые диски, которые на 100% полны. Это означает, когда нам массовая перезагрузка весь кластер некоторые узлы данных полностью не удается запуститься с сообщения как...
вопрос задан: 29 October 2013 16:53
4
ответа
Сделай сам Кластер Hadoop - Тепло и проблемы Пыли?
Следующее является ссылками моего DIY Кластер Hadoop С 6 узлами с помощью i3 Машины, Что самый лучший путь состоит в том, чтобы защитить мой дизайн от пыли и обеспечить лучшей теплопередаче? Что я должен использовать для покрытия четыре...
вопрос задан: 7 January 2013 16:28
4
ответа
Ведомые узлы Hadoop, не соединяющиеся
Я пытался настроить кластер Hadoop; мне удалось получить его работающий в псевдораспределенном режиме и моей одной машине wordcounted Война и мир Tolstoy приблизительно через тридцать секунд. Я теперь пробую...
вопрос задан: 25 May 2012 21:26
4
ответа
почему веб-страница http://server:60010 для выполнения Ведущее устройство HBase
Я установил: wget http://archive.cloudera.com/cdh/3/hbase-0.90.3-cdh3u1.tar.gz Это - мой hbase_site.xml <свойство> <имя> hbase.master </имя> <значение> localhost:...
вопрос задан: 13 October 2011 16:47
4
ответа
Настройка дисков Hadoop JBOD на дисковом контроллере HP Smart Array 410/i
Я нахожусь в фазе оценки некоторого hw, который мог использоваться для установки hadoop кластера. Этот hw обновляется (hp G6 серверы w/Умный Массив 410/i контроллер), и вероятно мы должны использовать его... мы...
вопрос задан: 9 May 2011 17:35
4
ответа
Интерпретация exim файлы журнала после парсинга
Я анализирую exim файлы журнала и, из-за моего метода обработки, теряю первоначальный заказ всех записей в этом файле. Я восстанавливаю транзакции их идентификатором транзакции (т.е. 1OfiYX-0000Ev-7k), но все еще...
вопрос задан: 5 August 2010 09:44
4
ответа
Диски для hadoop, что посоветуете? [закрыто]
что вы порекомендуете насчет дисков для Hadoop? Вы рекомендуете использовать SAS или просто подключить диск через SATA? А может еще что-то? Каковы плюсы и минусы каждого варианта? (Решение о диске ...
вопрос задан: 26 July 2010 08:56
4
ответа
Большие данные: Какие Параметры HD Важны?
Я работаю с большим количеством наборов данных, которые находятся в десятках ГБ, обычно разделяемых на несколько файлов. Выполняя любой тип dataside-широкой операции (grep, sed, поиск, чтение-запись к/от базам данных и Hadoop)...
вопрос задан: 22 September 2009 00:36
4
ответа
Кластер Hadoop. 2 Быстрых, 4 Носителя, 8 более медленных машин?
Мы собираемся купить некоторые новые аппаратные средства для использования только для кластера Hadoop, и мы застреваем на том, что мы должны купить. Скажите, что у нас есть бюджет в размере $5 тысяч, должен мы покупать две супер хороших машины на уровне 2
вопрос задан: 18 June 2009 09:26
3
ответа
Лучший выбор для конфигурации клиента NTP
Позволяет видят, может ли кто-то пролить немного света на этот предмет.. Я делаю установку сервера в следующие дни. Мой клиент хочет развернуть Hortonworks HDP с 2 серверами как главные серверы и 5...
вопрос задан: 14 September 2015 12:18
3
ответа
Ввод-вывод и ограничения RAM важны для работы Hadoop. Но скорость диска связана с вводом-выводом?
Hortonworks заявляет это: "Чаще всего производительность кластера Hadoop не будет ограничена скоростью диска – ввод-вывод и ограничения RAM будут более важными". *, Как скорость диска не связана с вводом-выводом...
вопрос задан: 12 June 2015 08:47
3
ответа
Существует ли путь к grep gzipped содержание в hdfs, не извлекая его?
Я ищу путь к zgrep hdfs, регистрирует что-то как: фс hadoop-zcat hdfs://myfile.gz | grep "привет" или hadoop фс - кошка hdfs://myfile.gz | zgrep "привет", это действительно не работает на меня, там...
вопрос задан: 22 January 2015 12:49
3
ответа
Hadoop-/usr/bin/hadoop: строка 320:/usr/bin/java/bin/java: Не каталог
Я устанавливаю Hadoop на CentOS 6.4. Следование этим инструкциям http://hadoop.apache.org/docs/stable/single_node_setup.html wget http://apache.osuosl.org/hadoop/common/hadoop-1.1.2/hadoop-1.1.2-1....
вопрос задан: 15 June 2013 02:24
3
ответа
Веб-панель инструментов экосистемы Hadoop
Я пытаюсь найти инструмент, который показал бы мне обзор моей экосистемы Hadoop - состояние, здоровье, выполняющиеся задачи, и т.д. Я попробовал к Google, но не нашел никого. Есть ли некоторый хороший полезный инструмент?
вопрос задан: 24 August 2012 09:26
3
ответа
PXE загружают Linux - какие каталоги должны быть перезаписываемы?
Я планирую настроить небольшой кластер Hadoop где ведомая начальная загрузка узлов и выполнение с центрального сервера PXE, упростить развертывание и обновления, и позволить всем дискам на ведомых устройствах быть (...
вопрос задан: 10 May 2012 16:06
3
ответа
Was ist Hadoop und wofür wird es angewendet? [geschlossen]
Ich lese ServerFault schon seit einiger Zeit und bin auf Hadoop auf einige Themen gestoßen. Ich hatte ein wenig Schwierigkeiten herauszufinden, was es aus globaler Sicht tut. Also meine ...
вопрос задан: 26 January 2012 21:18
3
ответа
Hadoop движущиеся данные другому пользователю
У меня есть несколько сотен из ГБ в моем hdfs для Усера (единственная конфигурация узла). Я хотел бы передать все эти данные userB, который будет более подходить для конфигурации мультиузла, которую я устанавливаю...
вопрос задан: 30 May 2011 00:13
3
ответа
Hadoop Прокрутка Маленьких файлов
Я выполняю Hadoop на проекте и нуждаюсь в предложении. Обычно по умолчанию Hadoop имеет "размер блока" приблизительно 64 МБ.. Существует также предложение для не использования многих/маленьких файлов.. Я в настоящее время имею...
вопрос задан: 16 November 2010 05:03
3
ответа
Что предназначено путем “потоковой передачи доступа к данным” в HDFS?
Согласно странице HDFS Architecture HDFS был разработан для "потоковой передачи доступа к данным". Я не уверен, что это означает точно, но предположило бы, что означает, что операции нравится, ищут, или отключен или имеет...
вопрос задан: 14 July 2009 13:13
2
ответа
NoNode для псевдораспределенного режима HBase master
Я использую Ubuntu 18.04, hadoop 3.1.3 и hbase 2.2.1. Мне кажется, что мои hadoop и HBase неправильно настроены для взаимодействия. Когда я через оболочку HBase пытаюсь создать таблицу, она дает ...
вопрос задан: 13 March 2020 14:21
2
ответа
Высокое использование активной (файловой) памяти в виртуальных машинах Oracle Linux
Недавно я просмотрел и прочитал много сообщений и вопросов об управлении памятью Linux, но не могу найти свой случай. Например, в Unix StackExchange есть вопрос об использовании высокой памяти, но нет ...
вопрос задан: 23 April 2019 09:25
2
ответа
Локальный адрес ссылки и DHCP
Если сетевое устройство достигло локального адреса ссылки и получило локальный адрес ссылки, скажем - 169.254.111.135. Теперь, если DHCP включен в устройстве и он получает IP-адрес от DHCP-сервера в сети ...
вопрос задан: 25 June 2018 15:18
2
ответа
IP-порт одинаков для источника и назначения
Вчера при отладке в кластере hadoop я заметил кое-что странное # netstat -taupen | grep 54310
tcp 0 0 10.0.12.209:54310 10.0.12.209:54310 TIME_WAIT Вы можете заметить этот источник ...
вопрос задан: 8 June 2018 19:37
2
ответа
Как определить и исправить отсутствующие блоки, о которых сообщает Ambari для NameNode?
Ambari генерирует предупреждение Состояние блоков NameNode: Всего блоков: [38252543], Отсутствующие блоки: [ 2]. Никакой дополнительной информации. Я запустил hdfs fsck /, который сообщает о работоспособности всей файловой системы. Я '...
вопрос задан: 2 October 2017 23:00
2
ответа
Namenodes не запускаются в HA-кластере - Fatals существует в журналах Journalnode
У меня возникла проблема с моим Hadoop Cluster Centos 7.3 Hortonworks Ambari 2.4 .2 Hortonworks HDP 2.5.3 Ambari stderr: 2017-04-06 10: 49: 49,039 - Не удалось получить метрики jmx от NN. URL: http: // ...
вопрос задан: 7 April 2017 11:38
2
ответа
как я могу изменить путь к файлу конфигурации nginx
Я установил nginx в ubuntu16.04 и проверьте, что расположение файла конфигурации - / и т.д. / nginx / conf / nginx.conf $ / usr / sbin / nginx -V 2> & 1 | grep --colour = auto conf, затем Show Configuration ...
вопрос задан: 17 December 2016 11:25
2
ответа
Выполнить сценарий оболочки как один из шагов в EMR AWS
Мы думаем о миграции наша инфраструктура Hadoop от центра обработки данных до AWS EMR. Поскольку некоторые из задач / этапов в процессе ETL зависят, например, поток похож на Map Reduce, задание будет генерировать данные
Shell ...
вопрос задан: 18 February 2016 09:36
2
ответа
Корневой каталог заполнен, не могу восстановить использованное пространство
Я исследовал свой сценарий везде, но не могу найти ни одной строки, связанной с моей проблемой.
У меня есть узел данных в Hadoop Framework, который недавно вышел из строя, потому что все диски на этом блоке были размонтированы ...
вопрос задан: 13 November 2015 18:24
2
ответа
Как удалить опцию RAID из HP DL360 Gen 9 для HDFS
Я настраиваю совершенно новый Сервер DL360 G9 для использования в подтверждении концепции кластера Hadoop. Поскольку HDFS будет заботиться о RAID, я должен обойти эту опцию в контроллере массива G9 (Умный Массив...
вопрос задан: 5 October 2015 20:29