Loading...

Логи и аналитика

Что такое Logpush? Логи доступа CDN в ваших собственных системах

Когда сайт обслуживает CDN, большинство запросов не доходит до вашего сервера, а значит, и их строки в логах тоже. Доставка логов, которую часто называют Logpush, возвращает их: CDN записывает строку для каждого запроса на edge и доставляет вам файлы, готовые для ваших инструментов работы с логами, SIEM или архива. В этом руководстве описано, что вы получаете, что содержит строка лога и как это работает на cdn.com.tr.

8 мин чтения Средний Обновлено

Что такое Logpush? Логи доступа CDN в ваших собственных системах

Почему логи вашего origin больше не показывают всей картины

Раньше ваш веб-сервер видел каждый запрос и записывал его в access-лог. С CDN кэшированные запросы обслуживает сам edge, часто это большинство, а ваш сервер видит только то, что ему пришлось обслужить: промахи кэша, некэшируемые страницы, вызовы API. Эти запросы тоже приходят с адресов edge, если не восстанавливать адрес посетителя из заголовка, как показано в руководстве по реальному IP посетителя.

Полная запись о том, кто что запрашивал, теперь находится на edge. Доставка логов отправляет эту запись вам: каждый запрос, будь то попадание в кэш или промах, с адресом посетителя, временем обработки и статусом кэша.

Что даёт доставка логов

Ответы на конкретные вопросы. Что случилось с этим конкретным запросом? Какие адреса скачивали этот файл? Когда начались ошибки 5xx и на каких URL? Отчёты обобщают, логи отвечают.

Безопасность и расследования. SIEM сопоставляет логи edge с логами вашего приложения, файрвола и входов, так что атаку, скрапер или утёкшую ссылку можно проследить на протяжении нескольких дней.

Собственная аналитика. Загрузите строки в хранилище данных и стройте нужные вашему бизнесу отчёты: по странам, сетям, устройствам или типам контента.

Запись под вашим контролем. Файлы принадлежат вам: храните их столько, сколько требуют ваши политики, в системе, которой вы уже пользуетесь.

Устройство строки лога

Сервисы доставки логов обычно пишут JSON Lines: один полный JSON-объект на строку, одна строка на запрос, со сжатием gzip. Этот формат удобно читать потоком, делить и дописывать, и его понимают все инструменты для логов. На cdn.com.tr строка содержит такие поля:

Когда и где: ts (время, ISO 8601 со смещением), edge и edge_port (адрес и порт edge, к которому подключился посетитель).

Кто: client_ip и client_port (адрес посетителя и его исходный порт), country, asn (сеть посетителя), user_agent и referer.

Что: method, scheme, host, uri и protocol.

Как всё прошло: status, bytes (отправленные байты тела), cache (HIT, MISS и другие состояния кэша), request_time (секунды, которые edge потратил на запрос) и origin_time (секунды, которые потребовался вашему origin, - при попадании в кэш).

Исходный порт важнее, чем кажется. В мобильных сетях и за carrier-grade NAT многие посетители делят один публичный адрес; только адрес, порт и время вместе указывают на одно конкретное соединение.

Один запрос, одна строка (здесь разбита для удобства чтения)

{"ts":"2026-11-20T11:03:07+00:00","edge":"203.0.113.10","edge_port":"443",
 "client_ip":"198.51.100.7","client_port":"53114","method":"GET","scheme":"https",
 "host":"www.example.com","uri":"/products/42","protocol":"HTTP/2.0",
 "status":200,"bytes":18342,"cache":"HIT","request_time":0.004,"origin_time":"-",
 "referer":"https://www.example.com/","user_agent":"Mozilla/5.0 ...",
 "country":"TR","asn":64500}

Logpush на cdn.com.tr

Логи доступа включаются переключателем на странице Журналы доступа вашего аккаунта CDN, и один переключатель охватывает все домены, которые аккаунт отдаёт через edge. Когда доставка включена, каждый edge собирает ваши запросы и каждые пять минут выгружает сжатый gzip файл JSON Lines; первые файлы появляются примерно через десять минут.

Файлы группируются по дням (UTC), и каждый покрывает пять минут одного edge. Скачивайте отдельные файлы или целый день из панели либо работайте из командной строки: cdnctl logs pull забирает день, а при повторном запуске — только новые файлы; cdnctl logs grep скачивает только файлы из нужного временного окна и фильтрует их на вашем компьютере по IP, коду статуса, пути и другим признакам. Ссылки для скачивания ведут только в папку вашего аккаунта и действуют 15 минут. Включать и выключать доставку могут владельцы и редакторы; просматривать и скачивать может любая роль в команде.

Файлы хранятся 30 дней, затем удаляются автоматически. Чтобы иметь более длинную историю, по расписанию загружайте их в собственный архив, как показано ниже. Все шаги описаны в руководстве по журналам доступа.

Маскирование IP

Логи доступа содержат персональные данные: IP-адрес посетителя может идентифицировать человека, а как владелец сайта вы выступаете оператором этих логов. Прежде чем включать доставку, решите, нужны ли вам полные адреса.

При включённом маскировании IP edge записывает только сетевую часть каждого адреса: адрес IPv4 сохраняет первые три октета (198.51.100.0, сеть /24), а адрес IPv6 — первые три группы (/48). Этого достаточно для статистики по странам, сетям и злоупотреблениям, а отдельные посетители не попадают в ваши файлы, при этом исходный порт по-прежнему позволяет различать соединения. Если полные адреса нужны для расследований или обязанности вести учёт, оставьте маскирование выключенным и ограничьте круг тех, кто может читать файлы.

Как попасть логам в SIEM или архив

Считайте 30-дневное окно буфером доставки, а собственное хранилище — основной записью. Достаточно задания по расписанию, которое забирает новые файлы, а поскольку cdnctl logs pull скачивает только те файлы, которых у вас ещё нет, запуск раз в час почти ничего не стоит.

Дальше отправляйте файлы туда, где им место: в Elasticsearch или OpenSearch через Filebeat или Logstash, в BigQuery или ClickHouse как JSON, на файловый вход вашего SIEM или в объектное хранилище с правилом жизненного цикла для долгосрочного хранения. Для архива, защищённого от подмены, записывайте контрольную сумму каждого файла или подписывайте его по мере поступления.

Забирать новые файлы каждый час, затем запрашивать их

# crontab: новые файлы за сегодня каждый час, последние файлы за вчера после полуночи (сутки по UTC)
ACCOUNT_UUID=your-account-uuid
0 * * * *  cdnctl logs pull --account $ACCOUNT_UUID --out /var/log/cdn
20 0 * * * cdnctl logs pull --account $ACCOUNT_UUID --day $(date -u -d yesterday +\%F) --out /var/log/cdn

# ошибки 5xx с временем, хостом и URL
zcat /var/log/cdn/*.jsonl.gz | jq -r 'select(.status >= 500) | [.ts, .host, .uri, .status] | @tsv'

# одна сеть в заданном временном окне, прямо из CLI
cdnctl logs grep --account $ACCOUNT_UUID --from "2026-11-20 14:00" --to "2026-11-20 15:00" --ip 198.51.100.0/24 --format table

Кто читает логи edge

Команды безопасности

Запросы edge в SIEM рядом с событиями файрвола и входов, так что атаку можно проследить с самой первой пробы.

Поддержка и отладка

Точный статус, состояние кэша и время запроса, на который жалуется клиент, — за считаные секунды.

Архивы и аудиты

Полная история запросов в вашем собственном хранилище, которую можно держать столько, сколько требуют ваши политики.

Как настроить

Пошаговые руководства в справочном центре:

Logpush: частые вопросы

Чем Logpush отличается от отчётов аналитики?

Отчёты агрегируют запросы, трафик и долю попаданий в кэш за период. Логи сохраняют каждый отдельный запрос со своими полями, так что вы можете ответить на вопросы, которых не предусмотрел ни один отчёт, и хранить данные в собственных системах.

Как быстро приходят логи?

Каждый edge выгружает файл раз в пять минут. После включения доставки первые файлы появляются примерно через десять минут.

Как долго хранятся файлы логов?

Тридцать дней, затем они удаляются автоматически. Чтобы иметь более длинную историю, по расписанию загружайте их в собственное хранилище; cdnctl logs pull забирает только новые файлы, поэтому частые запуски обходятся дёшево.

В каком часовом поясе файлы?

Файлы группируются по суткам UTC. Каждая строка несёт собственную метку времени в ISO 8601 со смещением, так что ваши инструменты могут перевести её в любой часовой пояс.

Можно ли не хранить полные IP посетителей в файлах?

Да. При включённом маскировании IP адреса IPv4 сохраняют сеть /24, а адреса IPv6 — /48, так что в файлах нет полных адресов посетителей.

Какие домены охватывает Logpush?

Все домены, которые ваш аккаунт CDN отдаёт через edge. Один переключатель на аккаунте охватывает их все, и попадания в кэш, и промахи.