Распараллеливание Bash интенсивных ЦП процессов
Необходимо заняться теми же временами запроса, как база данных SQL только работает на единственном узле (обработка отказа-) кластер в любой момент времени. Кластеризация для производительности сделана при помощи многих узлов и выравнивания нагрузки несколько экземпляров SQL Server через несколько узлов для дублирования и улучшенной производительности.
Мы обсуждаем, как реализовать точно эту опцию на mailinglist для Параллели GNU прямо сейчас http://lists.gnu.org/archive/html/parallel/2011-01/msg00001.html
Не стесняйтесь присоединяться: http://lists.gnu.org/mailman/listinfo/parallel
Прототип теперь готов к тестированию: http://lists.gnu.org/archive/html/parallel/2011-01/msg00015.html
Я посмотрел бы на реализацию этого в Perl с Параллелью:: ForkManager. Вы могли сделать разделение строки в сценарии и затем подать получающиеся строки в Параллель:: процессы ForkManager. Использование run_on_finish обратный вызов для сбора вывода. Очевидно, для Вашего sed примера Вы могли просто сделать текстовую операцию в жемчуге вместо этого и возможно использовать что-то как AnyEvent для обработки параллелизма.