Как справиться с проблемами нехватки памяти в многопользовательских системах?

Когда процесс пытается выделить больше памяти, чем доступно, обычно очень трудно справиться с этой ситуацией должным образом. В некоторых случаях программы может освободить несущественную память (например, кеши), но в большинстве случаев это приведет к фатальным исключениям (см. также [1]), к подкачке и значительному замедлению системы или даже к уничтожению ( довольно произвольно), используя убийцу OOM .

В однопользовательской системе все параметры плохие, но, по крайней мере, вы можете только навредить себе (в конце концов, вы несете ответственность за весь код, запускаемый на вашем компьютере ).

Однако в многопользовательской системе можно было бы заставить убийцу OOM убить определенные процессы, возможно, принадлежащие другим пользователям. Существуют определенные ограничения, потому что убийца OOM пытается найти "процесс который использует большой объем памяти, но не так долго живет »(см. здесь ). [125 9] Тем не менее, представив ситуацию, когда процессу требуется x МБ памяти, он не существовал очень долгое время (низкое время ЦП) и принадлежит пользователю X, а x значительно превышает объем свободной памяти в системе, пользователь Y может иметь возможность выделить больше памяти, чем доступно, и заставить систему убить процесс X (потому что он использует больше памяти).

Эта ситуация звучит намного страшнее, чем аналогичные последствия для одной пользовательской машины. Можно установить ограничения памяти для каждого пользователя или даже использовать контейнеры для еще большего разделения процессов. Но насколько я понимаю, только установка лимита на total_memory / number_of_users решит проблему. Но при установке такого лимита теряются все преимущества многопользовательской системы. В этом случае машина фактически похожа на несколько однопользовательских машин в одной коробке. Обычно требуется разрешить одному пользователю использовать больше памяти в пиковое время, потому что большую часть времени пользователям потребуется меньше памяти, чем в среднем.

Меня больше всего интересует решение этой проблемы в ситуациях с большими вычислениями с огромными объемами данных. Я думаю, что в случае веб-серверов можно было бы лучше оценить, сколько памяти требуется, поскольку существует много мелких операций, а не несколько крупных. Но даже в этом случае я слышал, что в обычных ситуациях должно быть заполнено только 50% вашей памяти, чтобы избежать проблем с нехваткой памяти во время пиков. Разве это не пустая трата 50% вашей памяти?

В частности, я подумываю разместить хаб Jupyter или что-то подобное. Но я не хочу, чтобы пользователи убивали процессы друг друга.

Есть ли другое решение для смягчения этой проблемы? Как крупные облачные провайдеры, такие как Travis CI, справляются с подобными проблемами?