Мой вопрос связан с недавним инцидентом, когда CloudFlare 2 июля развернула плохое программное обеспечение в своих системах и вызвала простои большинства их клиентов, включая нас. https://blog.cloudflare.com/cloudflare-outage/

Есть ли способ, чтобы CloudFlare управлял нашим DNS, но поверх или вместе с ним, чтобы иметь резервный сервер имен в режиме ожидания на случай, если CloudFlare выйдет из строя опять таки? Или какое-то решение, которое добавляет избыточность за пределы сети CloudFlare, но будет работать, пока наша служба все еще находится в CloudFlare?
Я открыт для всего в этом направлении.

Единственное, что приходит в голову, - это приложение внешнего наблюдателя, отслеживающее состояние нашей настройки, и если есть серьезная проблема, такая как недавняя проблема на уровне DNS, просто замените DNS-серверы регистратора на резервный DNS. сервер, поддерживаемый нами через API регистратора. Этот резервный DNS-сервер будет предоставлять некоторые отказоустойчивые записи, которые позволят достичь нашего проекта, в то время как у него не будет возможностей CloudFlare для балансировки нагрузки CDN и трафика.
Будет ли это возможным и даже предпочтительным решением моего вопроса?

Немного предыстории настройки нашего проекта:
Чрезвычайно важно, чтобы у нашего проекта было нулевое время простоя, и мы очень много для этого работаем. На уровне сервера / сервиса наш проект полностью избыточен, у нас есть избыточные серверы для всех сервисов (haproxy, приложение, база данных) в трех зонах в США. База данных обрабатывается мультимастером Galera Cluster, который, помимо своего внутреннего механизма согласования, контролируется специальным приложением внешнего наблюдателя, которое может перенастроить один из серверов БД на работу в качестве главного, даже если все три сервера БД каким-то образом отделены друг от друга. . Таким образом, даже если две зоны выйдут из строя, база данных оставшейся зоны будет повышена до ведущей, а две другие удалятся из кластера, ожидая ручного вмешательства - это наихудший сценарий.В начале этой настройки находится CloudFlare, который выполняет балансировку нагрузки на уровне DNS для нас, и трафик распределяется между тремя зонами, а затем, в свою очередь, распределяется от одной службы к другой в зависимости от нагрузки на сервер и времени соединения, а также позволяет межзональное распределение запросов. Поскольку CloudFlare настолько огромен, мы ошибочно не рассматривали его как единственную точку отказа, что на самом деле так и есть, как мы видели на примере недавнего простоя, вызванного ими.

Стоит упомянуть, что мы не можем и не хотим расставаться с CloudFlare, они отлично подходят для нас в 99,9% случаев, их сервис Argo дает нам значительное увеличение скорости, и, кроме того, мы просто получаем еще один CDN, который по-прежнему будет единственной точкой отказа и подвержен тем же проблемам.