Выскочка Job как Непривилегированный пользователь перестала работать с отклоненным разрешением
Следует иметь в виду также, что очень небольшие кластеры Hadoop просто не работают очень хорошо, особенно согласно сценариям отказа. Проблема состоит в том, что много эвристики настраиваются учитывая, что кластер будет иметь> 20 машин. Часть этой эвристики просто перестала работать на очень небольших кластерах.
Хороший пример (который все еще не мог быть зафиксирован даже в новых выпусках) - то, что происходит, когда Вы пишете блок. При принятии репликации = 3, три узла выбраны наугад для хостинга копий. Если один из сбоев узлов во время записи, то namenode запрашивается для различных случайных трех узлы. На большом кластере вероятность, что новые три узла содержат провальный узел, незначительна, но на очень небольшом кластере скажем 6 узлов, существует высокий шанс, что неудавшийся узел будет в новом списке. Запись перестанет работать снова и возможно даже снова. Этого достаточно для заправления задания. Фиксация является очевидной, но является слишком низкой вероятность для большинства разработчиков для него, чтобы быть интегрированной быстро.
Hadoop действительно еще не имеет распределения уровня предприятия, которое обращается к полному спектру масштабируемости, вверх и вниз. Возможно, скоро, но еще.
Рекомендация использовать EC2/EMR, пока Вы не ясны на своих потребностях, является превосходной. Мало того, что это позволит Вам понять свои ограничения и нуждается лучше, но это позволит Вам иметь значительно большие кластеры, чем Вы говорите о покупке.
Условие запуска с указанием только уровня запуска:
запуск на уровне запуска [2345]
происходит очень рано в процессе загрузки. В этот момент обычно нет доступного сетевого устройства. Кроме того, многие другие службы еще не запущены.
Как видно из этой строки журнала:
Файл "socket.pyx", строка 489, в zmq.core.socket.Socket.bind (zmq / core / socket.c: 4797) zmq.core.error.ZMQError: Permission denied
, он не может привязаться к сокету, что указывает на то, что сетевое устройство еще не подключено.
Вы должны изменить начальное условие так что служба запускается позже, когда будет достаточно инфраструктуры.
Это то, что я использовал в ситуации, когда мне нужно было запустить веб-службу с помощью выскочки:
start on (runlevel [2345], local-filesystems и net-device-up IFACE! = Lo)
Это гарантирует что ваша служба запускается только тогда, когда доступны локальные файловые системы и , когда устанавливается сетевое соединение. Здесь также определено, что для сетевого подключения недостаточно локального устройства обратной петли. Раздел требует, чтобы был активен реальный сетевой интерфейс, например eth0 .
EDIT
Тогда может возникнуть проблема с каталогом по умолчанию. Upstart запускает запущенные программы с каталогом по умолчанию, установленным в /. Приложение, запущенное с su , вероятно, не имеет достаточно прав для записи своих файлов (файлов журналов и т. Д.)
Попробуйте добавить следующую строфу:
"Начальный веб-сервер торнадо" указывает, что он запускает собственный веб-сервер, на каком порту? Если обычный порт 80, это может сделать только root. Посмотрите http://www.itp.uzh.ch/~dpotter/howto/daemonize , проверьте, есть ли у Pyhon какие-то рекомендации для этого. Что рекомендует документация Sage? Это ни в коем случае не второстепенный пакет, я предполагаю, что они предлагают что-то для основного дистрибутива, такого как Ubuntu (если он еще не упакован для использования).
Если вы используете выскочку 1.4 или новее, вы можете использовать setuid stanza вместо использования su :
setuid sagecell
Относительно среды, в которой выскочка запускает ваше задание, см .:
- http://upstart.ubuntu.com/cookbook/#checking-how-a-service -might-react-when-run-as-a-job
- http://upstart.ubuntu.com/cookbook/#see-the-environment-a-job-runs-in
Обратите внимание, что даже такие переменные, как $ HOME , будут , а не , будут установлены по умолчанию при запуске системного задания от имени любого пользователя. В качестве альтернативы вы можете рассмотреть пользовательское задание:
Если вы действительно хотите использовать экран GNU, см .: