Будет ли Ubuntu автоматически ставить в очередь сотни процессов?
Любой дистрибутив Linux не будет иметь проблем с управлением несколькими, может быть, сотнями экземпляров процессов.
Однако, для лучшей производительности вы должны использовать только столько процессов, сколько аппаратных потоков машина может управлять.
Добавление многих других процессов (например, 16 экземпляров процессов на 8-ти потоковой машине) будет ниже производительность из-за большого мусора кэша и избытка ресурсов.
.Нет, если вы запустите тысячи процессов, ядро сделает все возможное, чтобы запустить эти тысячи процессов. Что по понятным причинам не закончится хорошо.
Чтобы запускать задания в последовательном режиме, как это, создайте правильную систему очереди заданий, используя что-то вроде gearman или RabbitMQ. Таким образом, задания помещаются в очередь сообщений, и ваш рабочий процесс использует эти сообщения как доступные и одновременно запускает лишь небольшое количество процессов.