3
ответа

Hadoop Прокрутка Маленьких файлов

Я выполняю Hadoop на проекте и нуждаюсь в предложении. Обычно по умолчанию Hadoop имеет "размер блока" приблизительно 64 МБ.. Существует также предложение для не использования многих/маленьких файлов.. Я в настоящее время имею...
вопрос задан: 16 November 2010 05:03
2
ответа

Обновление группы без выхода из системы или подоболочки

Я пытаюсь запустить Docker на потоковой передаче Elastic MapReduce, но у меня возникла проблема с разрешениями. В моем сценарии начальной загрузки мне нужно, чтобы пользователь «hadoop» входил в группу «docker» (как описано ...
вопрос задан: 10 March 2016 06:29
2
ответа

hadoop-config.sh в мусорном ведре / и libexec/

При установке hadoop, я нашел, что hadoop-config.sh сценарий присутствует в двух каталогах, мусорное ведро / и libexec/. Оба файлы идентичны. При взгляде на сценарии я нашел это если hadoop-конфигурация....
вопрос задан: 3 July 2014 20:31
1
ответ

Hadoop FileAlreadyExistsException: Output directory hdfs://:9000/input already exists

I have Hadoop setup in fully distributed mode with one master and 3 slaves. I am trying to execute a jar file named Tasks.jar which is taking arg[0] as input directory and arg[1] as output directory. ...
вопрос задан: 14 October 2016 18:59
1
ответ

Как просмотреть состояние недавних заданий AppEngine mapreduce?

Мы недавно обновили наше приложение Механизма Приложения до GAE SDK 1.9 и обновили более старую библиотеку MapReduce, которой мы пользовались к новой версии, размещенной на GitHub. Мы теперь находим что старый MapReduce...
вопрос задан: 5 June 2015 17:48
1
ответ

Блокировка MongoDB - Очень, очень, замедляется для чтения

Это - вывод от db.currentOp ():> db.currentOp () {"inprog": [{"opid": 2153, "активный": ложь, "op": "обновление", "не уточнено": ""...
вопрос задан: 5 April 2013 13:38
1
ответ

Задание MapReduce подвешивается после 1 из 5 редукторов, завершенных на среде единственного узла

У меня есть только один Узел данных на моей dev среде на EC2. Я выполнил тяжелое задание MR, и за 6 часов заметил, что 100% картопостроителей и 20% редукторов закончились (1 из редуктора показывает 100%-ю конкуренцию, другие - 0%...
вопрос задан: 10 November 2012 11:20
1
ответ

Как я определяю тайм-аут для действий начальной загрузки с Эластичным MapReduce Amazon?

Как я изменяю тайм-аут для действий начальной загрузки с Эластичным MapReduce Amazon?
вопрос задан: 13 November 2011 23:49
1
ответ

Лучшая практика для администрирования (hadoop) кластера

Я недавно играл с Hadoop. У меня есть шесть кластеров узла и работающий - с HDFS и выполнявший много заданий MapRed.Пока все хорошо. Однако я теперь надеюсь делать это больше...
вопрос задан: 8 March 2011 09:23