Странный текущий чрезмерный ввод-вывод ожидает

(Я предполагаю, что ваши диски подключены непосредственно к серверу, а не через NFS, например.)

Важно то, что ваш svctm (в iostat output) имеет чрезвычайно высокий, что предполагает аппаратную проблему с RAID или дисками. Svctm для обычных дисков должно быть около 4 (мс). Может быть меньше, но не выше.

К сожалению, вывод smartctl в вашем случае не информативен. В нем исправлены ошибки, но это может быть нормально. Длинный тест вроде завершен нормально, но опять же безрезультатно. ST3500620SS кажется старым добрым диском серверного / рейдового типа, который должен быстро реагировать на ошибки чтения (в отличие от настольных / нерейдных дисков), поэтому это может быть более сложной аппаратной проблемой, чем просто поврежденные сектора. Попробуйте найти что-нибудь необычное (например, высокий процент ошибок) в статистике RAID: http://hwraid.le-vert.net/wiki/LSIMegaRAIDSAS

Мое предложение - следующим шагом должна быть замена дисков.

Обновить :

Svctm является более важным фактором, поскольку высокий util% является просто следствием аномально высокого svctm .

Я видел аналогичную проблему, когда диски настольных были установлены в Promise RAID. Настольные диски, предназначенные для исправления ошибок чтения с помощью многих длительных повторных попыток, что способствует задержке (эти ошибки чтения могут быть вызваны другим фактором, например вибрацией , которая в серверной комнате намного сильнее, чем в настольной. ). В отличие от этого диски, предназначенные для использования в RAID, просто быстро сообщают обо всех ошибках RAID-контроллеру, что может исправить их с помощью резервирования RAID. Кроме того, серверные диски могут быть спроектированы так, чтобы они были более механически устойчивы к постоянной сильной вибрации. Существует распространенный миф о том, что серверные диски такие же, как и настольный компьютер, но они дороже, что неверно, они на самом деле разные.

В: Ах, что я хотел спросить: если это проблема с оборудованием, Вам не кажется, что проблема должна быть постоянно видимой и не исчезать какое-то время? У вас есть какое-нибудь объяснение этому эффекту?

A:

1. Проблема может быть всегда, но она становится заметной только при высокой нагрузке.
2. Уровни вибрации могут быть разными в разное время дня (в зависимости, например, от того, что делают соседние серверы). Если ваша проблема заключается в том, что диски подвержены вибрации, она определенно может исчезнуть и снова появиться. Я наблюдал подобное поведение, когда у меня была проблема с дисками рабочего стола. (Конечно, ваши диски - серверные и рекомендуются для RAID, так что это не совсем та же проблема. Но может быть похоже.)

У меня была очень похожая проблема. IBM ServeRaid M5110 (переименованный в LSI 9265-8i) и CentOS 6.x

Первым виртуальным диском был RAID0 из 4 дисков Hitachi под брендом IBM.

Затем мы купили твердотельные накопители Samsung PM853T, установили их на еще 4 диска и создали еще один RAID0. . Когда мы переключали нашу рабочую нагрузку с пластин на твердотельные накопители, каждый час ввода-вывода резко увеличивался, и все операции останавливались. Нагрузка будет от обычных ~ 2 до более 80. Через пару десятков секунд все успокоится и приложения продолжат работать.

На пластинах такой ситуации никогда не было.

Итак, первое впечатление у меня было такое. какая-то несовместимость LSI и Samsung. Спустя пару дней, много ломая голову и отлаживая, я обнаружил, что виновником был MegaCli64. Мы запускаем его через Zabbix для мониторинга состояния дисков, но при сканировании контроллера MegaCli останавливал ожидание на SSD, десятки секунд плюс для каждого SSD, умноженного на 4 почти две минуты. В результате все операции ввода-вывода упадут до нуля, а время ожидания и загрузка резко возрастут.

Решением было найти версию MegaCli, которая не вызывала проблемы. Мы скачали версию с сайта IBM.