Не загружайте неиспользованные апачские модули (как Python, жемчуг, и т.д.).
Используйте модуль eAccelerator php. Это - php компилятор. Можно получить более быстрое выполнение и меньшее использование памяти.
Другие пользователи, возможно, также право.
HTML5-видео все еще находится в зачаточном состоянии и, мягко говоря, плохо поддерживается браузерами. Иногда улучшения можно получить, попробовав разные видеоформаты, но в большинстве случаев проблема будет в браузере, а не на сервере. Постарайтесь выяснить, не происходит ли это чаще с конкретным браузером, и предложите им альтернативный метод восстановления.