импорт продукта прерван из-за cloudflare
У меня проблемы с устранением ошибок моей базы данных и с тем, как ее оптимизировать. Из-за медленной работы моего сервера (я полагаю, в основном это запросы), мой импорт превращается с кодом ошибки cloudflare. (Cloudflare блокирует соединения более 15 секунд, насколько я помню)
Требуются советы по их устранению.
Я размещаю свой веб-сайт на WordPress в GCP с 1 виртуальным процессором, 4 ГБ оперативной памяти, 20 ГБ SSD. Я использую веб-сервер OpenLiteSpeed, php 7.4.4, mariadb 15.1. Создание сайта партнерской сети. Размещение изображений в облачном хранилище Google.Возникли проблемы со скоростью импорта. Получил более 500к товаров. Еле завезено около 200к. Теперь я не могу импортировать даже по одному или делать какие-либо другие правки через бэкэнд. Самый большой размер xml - это 100k продуктов, которые застряли на 96k и не продолжают двигаться.
Сейчас размер моей базы данных составляет 3,5 ГБ с 200k продуктами. Его будет вдвое больше, с продуктами + 500 тыс.
Вот мой журнал mysql и журнал медленной работы, настройки my.cnf, советы mysqltuner и глобальные переменные.
Сегодня утром я понял, что не предоставлял привилегии для (скрыто ) после настройки пропуска имени-разрешения и я сделал это, я только что получил 1 ошибку mysql, я думаю.
Поскольку mysqltuner продолжает предлагать увеличивать количество установленной оперативной памяти каждый день, я преобразовал все свои таблицы innodb в myisam.
Также мне нужна помощь по использованию индексов с таблицами wp_postmeta и wp_posts.
Укажите, что кто-либо внесет свой вклад в решение этих проблем. Спасибо, много.
MY.CNF https://gist.github.com/execash/d2add8445e48c26b3e369b18bcf8a18e
Журнал ошибок MySql https://gist.github.com/execash/1876b479e016cash/1876b479e0163c06e06e6e06e6e06e6e6 ] Медленное ведение журналов в течение 2 секунд https://gist.github.com/execash/30fbdeb7650a824e140ead3080fa1931
Глобальные переменные https://gist.github.com/execash/b6b241b5dc607e6f991b322adeb [12dc607e6f998b328] статус [12d1198bb] https://gist.github.com/execash/604e2b9625f41d31ce9870eda3935ed5[12119 providedmysqltuner output https://gist.github.com/execash/aa269f91b5b08d1a4609d5c03d753121/121208601_Werverne_kuberdesk [121208808] узлы против многих рабочих узлов Мы используем RKE для настройки кластера с 4 главными узлами (виртуальная машина, 8 ядер CPUcurrentlysourcesstagingahorriblea worker и 16G RAM) и 5 рабочими узлами (голый металл, HPE G10, 88 ядер CPU, 256G RAM) -... Мы используем RKE для настройки кластера с 4-мя главными узлами (виртуальная машина, 8-ядерный CPUcurrentlysourcesstagingahorriblea worker и 16G RAM) и 5 рабочих узлов (голое железо, HPE G10, 88-ядерный ЦП, ОЗУ 256 ГБ) -Версия Kubernetes: 1.15 -Гостиная ОС: coreos и увеличение максимального числа модулей на узел до 250, и в настоящее время у нас есть Всего 500-600 капсул.
Большая часть нашего стека - это php-fpm. Вчера мы провели нагрузочный тест с автопушкой из нескольких источников в нашей производственной среде (промежуточное пространство имен: |), и да, я знаю, что это ужасно, но мы думаем, что кластер в порядке и терпим его из-за наших мониторинг фоновой истории. Я хочу знать, порекомендуете ли вы нам использовать много рабочих (ВМ) вместо нескольких рабочих (голый металл)?
Как всегда: все зависит от ваших потребностей.
Давайте углубимся в это: первый шаг - сравнить два разных режима развертывания (несколько более крупных рабочих и много мелких рабочих) с одной и той же типологией: как виртуальные машины, так и оба Bare Metal для упрощения сравнения. Что у нас есть:
Преимущества небольшого количества узлов большего размера
- меньше управления узлами: вам нужно установить, исправить и обновить меньшее количество Coreos
- меньше накладных расходов на главном узле
Преимущества многих меньших узлов
- Избыточность и высокая доступность: если один узел выходит из строя, его ресурсы можно легко перенести на оставшиеся узлы
- Меньше накладных расходов на кубелет: с меньшим количеством модулей на одного рабочего, кубелет должен выполнять меньше операций, таких как живучесть и готовность на узел
- , меньшие узлы означает, что вы ближе к своим реальным потребностям в ресурсах: если вам нужно 60 ЦП и у вас есть 2 узла по 50 ЦП каждый, вы платите за 40 неиспользуемых ЦП. Если вместо этого у вас есть 3 узла с 20 процессорами, вы оптимизируете свои расходы.
Я не знаю, что вам нужно, но обычно я предпочитаю решение с более высокой доступностью.
Теперь вернемся к виртуальным машинам и «голому железу». Вы должны добавить накладные расходы уровня виртуализации к недостаткам многих меньших узлов. Стоит ли по-прежнему использовать решение с меньшими узлами? Опять же, это зависит от ваших потребностей
PS : почему четное количество главных узлов? Kubernetes требуется нечетное количество узлов etcd