Cloudflare: сбой из-за внутренней ошибки, а не DDoS-атаки

Генеральный директор Cloudflare признал, что недавний масштабный сбой, затронувший множество веб-сайтов 18 ноября, был ошибочно расценен как DDoS-атака. В своем блоге Мэтью Принс объяснил, что после осознания ошибки команда смогла устранить проблему. "Проблема не была вызвана, прямо или косвенно, кибератакой или каким-либо вредоносным действием", — написал он. Причиной стал сбой в системе управления разрешениями базы данных Cloudflare, что повлияло на файл, используемый системой управления ботами.

Система управления ботами Cloudflare использует модель машинного обучения для оценки каждого запроса, поступающего от ботов при сканировании сети компании. Клиенты Cloudflare опираются на эти оценки для принятия решений о разрешении или блокировке доступа определенных ботов к своим веб-сайтам. Одним из применений таких оценок является возможность блокировать ботов компаний, занимающихся разработкой ИИ, чтобы они не могли использовать контент веб-сайтов для обучения своих больших языковых моделей. В июле Cloudflare запустила эксперимент "оплата за сканирование" (pay per crawl), который позволяет владельцам веб-сайтов монетизировать доступ ИИ-ботов к своим страницам.

Принс отметил, что модель опирается на конфигурационный файл "feature" для определения, является ли запрос бота автоматизированным. Этот файл обновляется каждые несколько минут, и изменение в механизме, генерирующем файл, привело к изменению его размера, что и вызвало ошибку. "В результате, система прокси-серверов, обрабатывающая трафик наших клиентов, начала возвращать HTTP-ошибки 5xx для всего трафика, зависящего от модуля управления ботами", — сообщил Принс.

Этот инцидент стал самым серьезным сбоем Cloudflare за последние годы. Компания заявила, что подобный сбой, "приведший к остановке основного потока трафика через [их] сеть", не случался с 2019 года. От лица команды Принс принес извинения за произошедшее.