Apache 2 обрабатывает запросы очень медленно после перезапуска

У нас есть сервер обработки сокетов устройства GPS, использующий NodeJS, который отправляет полученный запрос HTTPS на установленный сервер Apache и сохраняет данные в базе данных MySQL. Когда мы перезапускаем установленный сервер NodeJS или Apache, скорость обработки запросов установленного сервера Apache становится очень низкой. На данный момент мы проверили производительность MySQL и ее правильную работу. В секунду с сервера NodeJS может быть запущено от 5 до 15 запросов. В нормальной ситуации он работает нормально, но после перезапуска сервер становится намного хуже. Через несколько часов проблема автоматически решается. Пожалуйста, расскажите, как решить эту проблему и предоставить информацию, которую необходимо предоставить для мониторинга?

Сведения о сервере:

Ubuntu server with 8GB RAM and 4 Cores processor.

Конфигурация MySQL:

key_buffer_size         = 16M
max_allowed_packet      = 16M
thread_stack            = 192K
thread_cache_size       = 8

query_cache_limit       = 1M
query_cache_size        = 16M
max_binlog_size   = 100M

innodb_log_file_size=512M
innodb_buffer_pool_size=6G
innodb_buffer_pool_instances=6
innodb_flush_log_at_trx_commit=2
innodb_flush_method=O_DIRECT_NO_FSYNC
innodb_log_files_in_group=5
innodb_open_files=1000
sync_binlog=0

max_connections=512
table_open_cache=1000
table_open_cache_instances=16
back_log=1000

query_cache_limit=2M
query_cache_size=0
query_cache_type=0

sort_buffer_size=32M
read_rnd_buffer_size=32M

Верхняя команда: Список основных процессов, MySQL с использованием 6,8 ГБ

Через некоторое время MySQL автоматически перезапускается, и сервер снова становится медленным.

Apache Buddy

[ -- ] Parent PID: 19547.
[ OK ] Memory usage of parent PID is less than 50MB: 7268 Kilobytes.
[ -- ] Apache has been running 0d 23h 19m 11s.
[ !! ] *** LOW UPTIME ***.
[ @@ ] The following recommendations may be misleading - apache has been restarted within the last 24 hours.
[ -- ] Your server has 7976 MB of PHYSICAL memory.
[ -- ] Your ServerLimit setting is 512.
[ -- ] Your MaxRequestWorkers setting is 512.
[ OK ] Current Apache Process Count is 45, including the parent PID.
[ -- ] Number of vhosts detected: 5.
[ -- ]             |________ of which 3 are HTTP (specifically, port 80).
[ -- ]             |________ of which 2 are HTTPS (specifically, port 443).
[ OK ] Current Apache vHost Count is less than maxrequestworkers.
[ >> ] MaxRequestsPerChild directive not found.
[ -- ] This server is NOT running Plesk.
[ -- ] This server is NOT running cPanel.
[ -- ] This server is NOT running Virtualmin.
[ -- ] Your PHP Memory Limit (Per-Process) is 128M.
[ -- ] MySQL Detected => Using 7038.63 MB of memory.

[ OK ] No large log files were found in /var/log/apache2.
[ OK ] MaxClients has not been hit recently.
[ >> ] Apache only logs maxclients/maxrequestworkers hits once in a lifetime, if no restart has happened this event may have been rotated away.
[ >> ] As a backup check, please compare number of running apache processes (minus 1 for parent) against maxclients/maxrequestworkers.
[ OK ] No PHP Fatal Errors were found.

[ -- ] apache2 is currently using 1308.65 MB of memory.
[ -- ] The smallest apache process is using 9.73 MB of memory
[ -- ] The average apache process is using 9.82 MB of memory
[ -- ] The largest apache process is using 10.19 MB of memory
[ !! ] Going by the average Apache process, Apache can potentially use 5027.85 MB RAM:
        Without considering services: 63.04 % of total installed RAM
        Considering extra services: 536.38 % of remaining RAM
[ !! ] Going by the largest Apache process, Apache can potentially use 5217.28 MB RAM:
        Without considering services: 65.42 % of total installed RAM
        Considering extra services: 556.59 % of remaining RAM


--------------------------------------------------------------------------------
### GENERAL FINDINGS & RECOMMENDATIONS ###
--------------------------------------------------------------------------------
Apache2buddy.pl report for server:
Settings considered for this report:
[ !! ] *** LOW UPTIME ***.
[ @@ ] The following recommendations may be misleading - apache has been restarted within the last 24 hours.

    Your server's physical RAM:                                   7976 MB
    Remaining Memory after other services considered:             937 MB
    Apache's MaxRequestWorkers directive:                         512      <--------- Current Setting    
    Apache MPM Model:                                             prefork
    Largest Apache process (by memory):                           10 MB
[ !! ]  Your MaxRequestWorkers setting is too high.
    Your recommended MaxRequestWorkers setting (based on available memory) is between 81 and 91. <------- Acceptable Range (10% of MAX)
    Max potential memory usage:                                   5217 MB
    Percentage of TOTAL RAM allocated to Apache:                  65.42  %
    Percentage of REMAINING RAM allocated to Apache:              556.59  %
--------------------------------------------------------------------------------
A log file entry has been made in: /var/log/apache2buddy.log for future reference.

Last 5 entries:

2019/12/19 07:37:28 Uptime: "0d 02h 26m 52s" Model: "Prefork" Memory: "7976 MB" MaxRequestWorkers: "512" Recommended: "352" Smallest: "9.81 MB" Avg: "10.28 MB" Largest: "12.35 MB" Highest Pct Remaining RAM: "145.16%" (79.28% TOTAL RAM)
2019/12/20 07:06:41 Uptime: "0d 23h 19m 11s" Model: "Prefork" Memory: "7976 MB" MaxRequestWorkers: "512" Recommended: "91" Smallest: "9.73 MB" Avg: "9.82 MB" Largest: "10.19 MB" Highest Pct Remaining RAM: "556.59%" (65.42% TOTAL RAM)

Таблица местоположений:

CREATE TABLE `locations` (
  `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT,
  `device_id` bigint(20) unsigned NOT NULL DEFAULT '0' COMMENT 'Device Associated with Location',
  `driver_id` bigint(20) unsigned NOT NULL DEFAULT '0' COMMENT 'Driver associated with the Device',
  `packet_type` tinyint(3) unsigned NOT NULL DEFAULT '0' COMMENT '1=Login\\n2=Heartbeat\\n3=Ping\\n4=Alarm',
  `latlng` point DEFAULT NULL COMMENT 'Longitude, Latitude',
  `lng` decimal(10,7) NOT NULL DEFAULT '0.0000000' COMMENT 'Longitude',
  `lat` decimal(10,7) NOT NULL DEFAULT '0.0000000' COMMENT 'Latitude',
  `device_time` datetime DEFAULT NULL,
  `server_time` datetime DEFAULT NULL,
  `imei` varchar(20) COLLATE utf8mb4_unicode_ci DEFAULT NULL,
  `satellite` tinyint(3) unsigned NOT NULL DEFAULT '0',
  `speed` tinyint(3) unsigned NOT NULL DEFAULT '0',
  `acc` tinyint(3) unsigned NOT NULL DEFAULT '0',
  `heading` smallint(5) unsigned NOT NULL DEFAULT '0',
  `gsm_mcc` varchar(10) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT 'Mobile Country Code',
  `gsm_mnc` varchar(10) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT 'Mobile Network Code',
  `gsm_lac` varchar(10) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT 'Location Area Code',
  `gsm_cid` varchar(10) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT 'Cell Tower ID',
  `gsm_signal` tinyint(3) unsigned NOT NULL DEFAULT '0' COMMENT 'GSM Signal Percentage',
  `battery_level` tinyint(3) unsigned NOT NULL DEFAULT '0' COMMENT 'Battery Level Percentage',
  `alarm_code` varchar(5) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT 'Alarm Code sent by GPS Device',
  `raw_data` varchar(300) COLLATE utf8mb4_unicode_ci DEFAULT NULL,
  `raw_json` varchar(3000) COLLATE utf8mb4_unicode_ci DEFAULT NULL,
  `status` tinyint(3) unsigned NOT NULL DEFAULT '1' COMMENT '0=Not Active\\n1=Active\\n2=Deleted',
  `created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  `updated_at` timestamp NOT NULL DEFAULT '0000-00-00 00:00:00',
  PRIMARY KEY (`id`),
  KEY `locations_device_id_index` (`device_id`),
  KEY `locations_status_index` (`status`),
  KEY `locations_created_at_index` (`created_at`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci

Таблица поездок

CREATE TABLE `trips` (
  `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT,
  `device_id` bigint(20) unsigned NOT NULL DEFAULT '0' COMMENT 'Device Associated with Trip',
  `last_location_id` bigint(20) NOT NULL DEFAULT '0' COMMENT 'Last Location associated with the Trip Date',
  `trip_date` date NOT NULL,
  `items` longtext COLLATE utf8mb4_unicode_ci COMMENT 'Trips with points',
  `points` longtext COLLATE utf8mb4_unicode_ci COMMENT 'Received points',
  `is_place` tinyint(1) unsigned NOT NULL DEFAULT '1' COMMENT 'When enabled, Need to get places',
  `is_fetch` tinyint(1) unsigned NOT NULL DEFAULT '1' COMMENT 'When enabled, Need to fetch points from locations table',
  `status` tinyint(3) unsigned NOT NULL DEFAULT '1' COMMENT '0=Not Active\\n1=Active\\n2=Deleted',
  `created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `updated_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`),
  KEY `trips_device_id_index` (`device_id`),
  KEY `trips_trip_date_index` (`trip_date`),
  KEY `trips_is_place_index` (`is_place`),
  KEY `trips_is_fetch_index` (`is_fetch`),
  KEY `trips_status_index` (`status`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci

Критика схемы

Широта / долгота: Мы планируем реализовать Geo- забор, поэтому подумал, что нам нужны точки для пространственного поиска по географическому признаку, поэтому оставьте это поле Мы не реализовали это, если это не требуется, мы удалим это.

BIGINT: Количество устройств будет расти. Но на данный момент всего 400 устройств. Надеюсь, что в настоящее время мы можем использовать маленький int.

raw Удалит оба поля

updated_at , мы никогда не использовали

created_at для генерации поездки на текущую дату.

status Я не знаю о составном индексе, я попытаюсь его реализовать.

Top Command Top command screenshot

2
задан 23 December 2019 в 00:21
3 ответа

Проблемы памяти

Ниже к innodb_buffer_pool_size=5G.

я подозреваю, что система исчерпывает память и или разрушает или использует уничтожителя OOM для создания путаницы.

88% для MySQL - но сколько для Apache? ОС? Другие вещи? Не позволяйте ему добраться до 100%. Свопинг ужасен для производительности MySQL.

MaxRequestWorkers Более низкого Apache.

критический анализ Схемы

Уменьшение дискового места поможет, так как у Вас есть большой объем торговли этой таблицей.

Lat/lng: Вам нужно и POINT (25 байтов) и пара чисел (6 байтов каждый)? Вам нужно так много точности в числах? См. http://mysql.rjweb.org/doc.php/latlng#representation_choices

, IMEI - не Является этим 15 цифр? Конечно, не нужен utf8mb4. 15 цифр в varchar (20) взяли бы 17 байтов. В DECIMAL(15), это взяло бы 7.

GSM: MCC, mnc, lac, cid мог быть нормализован в другую таблицу и иметь 3 байта MEDIUMINT UNSIGNED для JOINing.

BIGINT - 8 байтов каждый. Сколько устройств и драйверов Вы ожидаете иметь?

сырые данные* - Вы, вероятно, не используете их? Они могли быть перемещением в менее удобный файл (например), для сохранения большого количества свободного места в таблице. (Я предполагаю, что Вы никогда не смотрели бы на файл (файлы).)

сырые данные* - Если Вы принимаете решение сохранить их в таблице, сжимая их и с помощью VARBINARY, уменьшат пространство фактором приблизительно 3. (Сделайте сжимание/распаковывание в клиенте.)

created_at, updated_at - Походит на шаблон, который никогда не используется. (5 байтов каждый).

состояние - Индексация столбца низкой кардинальности отдельно редко полезна. У Вас есть запрос, которому, возможно, понадобился бы он? Если так, возможно, составной объект (многостолбцовый) индекс был бы полезен.

я подозреваю, что те изменения уменьшили бы эту таблицу наполовину.

Buffer_pool, кэширующийся

, Каждая строка вставила потребности вставить в каждый индекс:

  • пек - на конец данных (1 горячая точка)
  • device_id - 1 горячая точка для каждого устройства. Сколько устройств?
  • состояние - 2? горячие точки
  • созданный в - фактически каждая строка идут на 'конец' этого индекса. (1)

Заключение: Для вставка , на самом деле используется очень мало пула буферов. 16 КБ (размер блока) времена (D+4), где D является количеством устройств. Общее количество: несколько мегабайтов?

у Вас есть кто-либо большими ВЫБОРАМИ? Они могли развернуться через блоки принуждения таблицы, чтобы прийти и уйти. Любое сканирование таблицы, вероятно, привело бы к набору ввода-вывода. Так, старайтесь избегать сканирований таблицы.

1
ответ дан 31 December 2019 в 11:52

Уровень В секунду = предложения RPS

для рассмотрения для my.cnf [mysqld] раздела

read_rnd_buffer_size=256K  # from 32M to conserve RAM and reduce handler_read_rnd_next RPS
sort_buffer_size=4M  # from 32M to conserve RAM footprint
thread_cache_size=100  # from 8 to reduce threads_created

Вы найдете, что эти изменения конфигурации значительно УМЕНЬШАЮТ ЦП. Посмотрите мой профиль, Сетевой профиль для загружаемых БЕСПЛАТНЫХ Служебных Сценариев для улучшения производительности.

0
ответ дан 31 December 2019 в 11:52

innodb_buffer_pool_size = 6G на сервере на 8 ГБ трудно. Понизьте его к 5G или меньше.

Apache MaxRequestWorkers в 512 берет набор RAM и угрожает сокрушить MySQL со слишком многими параллельными соединениями. Опустите его и MySQL max_connections к, скажем, 100.

0
ответ дан 31 December 2019 в 11:52

Теги

Похожие вопросы