MySQL использует невероятное количество памяти для импорта 1-2 ГБ файлов SQL

У меня есть сервер MySQL, работающий на машине Ubuntu 18.04 через Docker. В машине 32 ГБ ОЗУ.

У меня около 300 файлов SQL по 1-2 ГБ, которые нужно импортировать в базу данных на сервере, в одну таблицу.

Сама база данных полностью пуста, и есть только один таблицу.

Когда я пытаюсь импортировать некоторые файлы, я вижу всплеск использования памяти до 32 ГБ (100%), а после выделения 100 ГБ памяти подкачки максимальное значение, которое я видел, достигло 60 ГБ (60 ГБ + 32 ГБ = 92 ГБ !!!)

Принимая во внимание, что MySQL пытается использовать 92 ГБ ОЗУ для импорта файла SQL размером 1 ГБ в одну таблицу в пустой базе данных, что он мог делать? Это не похоже на утечку памяти, потому что после завершения импорта файла память становится нераспределенной.

Я, вероятно, должен упомянуть, что MySQL использует том Docker, к которому хост имеет прямой доступ к файлам для хранения своих данных.

Я пробовал много разных конфигураций, чтобы решить эту проблему, и, кроме того, иногда получаю ошибку Сервер MySQL ушел .

Я пробовал следующее:

• Изменение таблицы из InnoDB в MyISAM и работает ALTER TABLE tbl_name DISABLE KEYS
• Настройка autocommit = 0 , unique_checks = 0 , foreign_key_checks = 0
• Настройка ] max_allowed_packet = 999999999G и соответствующие переменные тайм-аута для аналогичных значений
• Использование mysqltuner.pl для генерации некоторых оптимальных параметров конфигурации InnoDB (показано ниже)

Сами файлы SQL - это буквально один Оператор INSERT с тысячами строк.

Что я могу сделать? Я подумал о том, чтобы разделить инструкцию INSERT на несколько разных INSERT, но это потребует некоторого обширного рефакторинга кода из-за многопроцессорной обработки моей программы, которая генерирует файлы SQL.

my.cnf :

[mysqld]
max_allowed_packet = 9999999G
wait_timeout = 99999999999
key_buffer_size=10M
innodb_buffer_pool_size=21G
innodb_log_file_size=2G
innodb_buffer_pool_instances=21
innodb_file_per_table
net_read_timeout=999999999999
net_write_timeout=999999999999

pid-file        = /var/run/mysqld/mysqld.pid
socket          = /var/run/mysqld/mysqld.sock
datadir         = /var/lib/mysql
secure-file-priv= NULL
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0

# Custom config should go here
!includedir /etc/mysql/conf.d/

Проблема постоянно сохранялись даже после добавления переменных innodb _ * .

показать глобальные переменные :

https://pastebin.com/raw/pXK4MgFb

Большое спасибо