Cloudflare опубликовала разбор крупного сбоя, который произошёл во вторник и стал самым серьёзным с 2019 года. Сооснователь компании Мэттью Принс рассказал, что проблема возникла из-за ошибки в системе Bot Management. Это инструмент регулирует работу автоматических ботов и краулеров.
Cloudflare обслуживает примерно 20% интернета и помогает сайтам выдерживать высокие нагрузки и DDoS-атаки. Поэтому сбой отключил многие ресурсы на несколько часов, включая X (Twitter), ChatGPT и Downdetector.
Хотя Bot Management в том числе используется для защиты сайтов от агрессивных ИИ-краулеров, причиной инцидента стала не новая технология. Проблема возникла из-за изменения прав доступа в базе данных. Модель машинного обучения, которая определяет бот-трафик, использует конфигурационный файл, обновляемый автоматически. Из-за изменения поведения запросов в ClickHouse база начала формировать множество дублирующихся строк. Файл быстро вырос и превысил лимит памяти.
В результате главный прокси-модуль Cloudflare, который обрабатывает трафик, начал давать сбои.