Добавление меньших узлов к псевдораспределенному nutch/hadoop кластеру
Да, 6to4 IPv4 к функции перехода IPv6, на которую клиенты IPv4 могут рассчитывать, чтобы говорить друг с другом с протоколом IPv6. Так как Вам не нужен IPv6 (ни переход IPv6), можно проверить, как он работает, если Вы отключаете 6to4 Адаптер.
Нажмите Start – Выполнение – Тип devmgmt.msc - и нажмите "OK" – в Диспетчере устройств, нажмите View и выберите Шоу, скрытые устройства – расходуют Сетевые адаптеры – проверяют состояние 6TO4 адаптер.
Отключите 6TO4 адаптер в Диспетчере устройств.
Необходимо будет переместиться в кластерную установку от псевдокластерной установки и путем выполнения так, Вы действительно вытащите больше процессивности из своего кластера путем добавления большего количества узлов, т.е. Вы сможете обработать больше карты и уменьшить задачи. Увеличение процессивности, как Вы ожидали бы, линейно.
Репликация решит, что количество копирует, которые присутствуют в Вашем кластере для каждого блока HDFS. Так позволяет, предполагают, что у Вас есть файл, который разделяется на 6 блоков для репликации 3, 18 блоков будут распространены в Вашем кластере. Чем больше узлов Вы имеете, тем более высокое покрытие Вы получите и таким образом когда оно сведется к открытию Вашей фазы карты, меньше данных будет иметь, чтобы быть переданным между узлами данных. И отвечать на Ваш заключительный вопрос, Hadoop будет всегда пытаться присвоить задачи карты узлам, которые служат узлами данных для входа к тем задачам карты. Так в этом случае копирование сделает эту задачу легче, так как будет больший пул tasktrackers для выбора из.
Ваш вопрос немного сбивает с толку. Если Вы работаете в псевдораспределенном режиме, то это - то, где все четыре процесса (JobTracker, NameNode, DataNode, TaskTracker) все запускаются на том же (обычно разработка) система.
Конфигурация xxx-site.xml Hadoop для псевдораспределенного имеет все говорящее localhost, таким образом добавляя, что новые узлы не будут работать.
При оставлении в стороне этого, если Вы добавляете больше узлов, и они выполняют и DataNodes и TaskTrackers, затем Вы получите добавленное устройство хранения данных и способность ЦП.
Обратите внимание, что, поскольку Вы заполняете HDFS, в конечном счете 3x, репликация не будет возможна, когда все меньшие узлы будут на полной мощности, таким образом, Вы начнете получать предупреждения/ошибки.