Loading...

Mühendislik · 12 dk okuma

nginx, HTTP/3 ve "Message too long": bulup düzelttiğimiz QUIC path MTU hatası

Yedi hafta boyunca edge sunucularımızın nginx hata logunda açıklayamadığımız bir alarm vardı: sendmsg() failed (90: Message too long) while sending frames, filo genelinde günde 8 ile 35 arası. Her biri, aktarımın ortasında kapanan ve üzerindeki bütün stream'leri kesilen bir HTTP/3 bağlantısıydı. Bu yazı, CDNTR edge ekibinin hatayı nginx'in ölümcül saydığı tek bir hata koduna kadar nasıl izlediğini, üç network namespace'te nasıl yeniden ürettiğini, QUIC gönderim yolunda nasıl düzelttiğini ve düzeltmeyi nginx/nginx#1984 olarak upstream'e nasıl gönderdiğini anlatıyor. Yolda ikinci bir HTTP/3 sorunu da bulduk: NAT rebinding sonrası sessizleşen bağlantılar. O da en sonda.

Güncellendi

nginx, HTTP/3 ve "Message too long": bulup düzelttiğimiz QUIC path MTU hatası

Sahibi belli olmayan bir alarm

Eylül 2026'da edge'imizdeki her hostname için HTTP/3'ü açtık. 26 Eylül'den itibaren nginx hata logunda yeni bir satır belirdi; nginx'in en yüksek ikinci seviyesi olan alert seviyesinde. Bağlantı başına en çok bir kez geliyordu (baktığımız 340 bağlantının 340'ında) ve filo genelinde günde 8 ile 35 arasındaydı.

Bu satır yalnız bizde yok. Eylül 2025'te açılan nginx #888 aynı mesajı birkaç farklı operatörden aktarıyor; çekirdek ekipten henüz cevap yok. quic_gso kapatmak, bildirenlerde sorunu gidermedi.

Ziyaretçinin ne gördüğü, bağlantının taşıdığı şeye bağlıydı. Bir ses yayını ya da sayfa yüklemesi bir ile üç saniye içinde, çoğunlukla HTTP/2 üzerinden yeniden istendi. Canlı video izleyen biri 10 ile 61 saniye donmuş görüntüye baktı; alarm o donmanın başını değil sonunu gösteriyor. Bunu birkaç kez yaşayan tarayıcı o sitede HTTP/3 denemeyi saatlerce bırakıyor, yani maliyet sessizce birikiyor. Sayı ayrıca bir alt sınır: büyük paketleri hiç ICMP göndermeden düşüren bir yol log'da hiçbir iz bırakmıyor.

Zamanlama önce başka bir yeri işaret etti. Kısa süre önce edge'lerimizde QUIC'in çalışma biçimini değiştirmiştik (kalıcı anahtarlar ve eBPF ile paket yönlendirme; en sonda anlatılıyor). Alarmın o değişiklikten eski olduğu ve eBPF yönlendirmesi olmadan çalışan bir edge'de de çıktığı görülünce dağıtımı bir kenara koyup gönderim yolunu okumaya başladık.

Log ne diyor, 90 ne demek

# nginx hata logu, kopan her bağlantı için bir satır
[alert] 1234#1234: *5678 sendmsg() failed (90: Message too long) while sending frames, client: 203.0.113.7

# Linux'ta 90, EMSGSIZE demektir
$ grep -w EMSGSIZE /usr/include/asm-generic/errno.h
#define EMSGSIZE        90      /* Message too long */

Bir datagram kendi soketine nasıl fazla büyük gelir

QUIC her yola 1200 baytla başlar; RFC 9000 bir yolun en az bunu taşımasını şart koşar. nginx sonra datagram path MTU keşfi (RFC 8899) yapar: daha büyük sonda paketleri gönderir ve onaylanan her sonda path->mtu değerini, istemcinin max_udp_payload_size değerine kadar yükseltir. Temiz bir 1500 baytlık yolda bu 1472 bayt UDP yüküdür. Büyük datagram aynı baytı daha az paketle taşır; keşfin değeri buradan gelir.

QUIC soketleri IP_PMTUDISC_DO ile açılır: Don't Fragment biti işaretlidir ve çekirdek hiçbir zaman parçalamaz. Bir sonraki bağlantısı daha dar olan yönlendirici sığmayan paketi düşürür ve kendi MTU'sunu içeren bir ICMP "fragmentation needed" (ICMPv6'da "packet too big") döndürür. Çekirdek bu MTU'yu hedef adres için saklar, varsayılan olarak on dakika (net.ipv4.route.mtu_expires, 600 saniye). O andan sonra o adrese daha büyük bir datagramla yapılan sendmsg() hemen EMSGSIZE ile döner. Paket makineden hiç çıkmaz.

Yani iki ayrı path MTU vardır: sonda onaylandıkça yükselen nginx'inki ve o adres için bir ICMP geldikçe düşen çekirdeğinki. ICMP yoldaki herhangi bir yönlendiriciden, istemcinin kendi modeminden, bazen de yanlış bir değerle gelebilir. Çekirdeğin değeri nginx'inkinin altına düştüğünde, bir sonraki tam boy datagram reddedilir.

nginx bunu sondalar için zaten bekliyordu: sondalar EMSGSIZE yok sayılarak gönderilir. Normal bir datagramın böyle bir dalı yoktu. ngx_quic_create_datagrams() hata döndürüyor, bağlantı ngx_quic_close_connection(NGX_ERROR) ile kapanıyor, istemciye INTERNAL_ERROR içeren bir CONNECTION_CLOSE gidiyor ve üzerindeki her stream kesiliyordu. Kurtarılabilir bir durum, "bu yol sandığımızdan dar", bir programlama hatası gibi ele alınıyordu. Aynı kod güncel nginx mainline'da da duruyor.

Ağ bize gerçekte ne gönderiyordu

Düzeltme yazmadan önce ICMP'nin nereden geldiğini bilmek istedik. İki edge sunucusunda on dakika boyunca, salt okuma olarak "fragmentation needed" mesajlarını yakaladık; istemci adresleri içerdiği için ham kaydı sonra sildik.

On dakikada 25 mesaj geldi; hepsi bizim 1424 ile 1500 bayt arasındaki QUIC datagramlarımız içindi, çoğu 1490–1500 bayt, yani sonda aralığının tepesi. Bildirilen MTU'lar 1492 (PPPoE, en sık), 1420 (tüneller), 1485, 1480, 1460, 1456, 1440 ve 1380'di. 1420 baytlık bir yolda sondalar önce 1453, sonra 1434, sonra 1424 oldu: her adımı reddedilen bir ikili arama.

Asıl sürpriz göndericilerdi. 25'in 18'i yol üzerindeki yönlendiricilerden geldi. 7'si, yaklaşık dörtte biri, istemcinin kendi adresinden geldi: PPPoE ya da NAT yapan ev modemi, kendi bağlantısının daha dar olduğunu söylüyordu. Bunlardan biri 1212 baytlık bir datagram için "MTU 1440" bildirdi, yani reddettiği paketten büyük bir MTU. Çekirdek 1440'ı yine de sakladı.

Neden böylece netleşti. Sondalar çekirdeğe on dakikalığına istemciye özel bir path MTU öğretiyor; nginx'in kendi değeri bunun üstünde kalabiliyor; bir sonraki tam boy veri datagramı EMSGSIZE alıyor. Yakalama, bir düzeltmenin neyi yapamayacağını da gösterdi: 1228 bayttan (1200 baytlık QUIC yükü artı IP ve UDP başlıkları) küçük bildiren bir yol QUIC'i hiç taşıyamaz ve istemci tarafında hiçbir MTU mantığı bunu değiştirmez. 25 mesajın hiçbiri o kadar düşük değildi.

ICMP'yi ve çekirdeğin sakladığı path MTU'yu kendiniz görün

# edge'e gelen ICMP "fragmentation needed" (tip 3, kod 4)
tcpdump -ni any 'icmp[icmptype] == 3 and icmp[icmpcode] == 4'

# IPv6 karşılığı, "packet too big" (ICMPv6 tip 2)
tcpdump -ni any 'icmp6 and ip6[40] == 2'

# çekirdeğin o istemci için artık bildiği MTU ve süresi
$ ip route get 203.0.113.7
203.0.113.7 via 198.51.100.1 dev eth0 src 198.51.100.20 uid 0
    cache expires 583sec mtu 1492

Üç network namespace'te yeniden üretmek

Başkasının yönlendiricisine bağlı bir hatayı canlı trafiğe karşı düzeltmek zordur; biz de yolu kendimiz kurduk: veth çiftleriyle bağlanmış üç Linux network namespace (istemci, yönlendirici, sunucu), 40 ms gidiş-dönüş ve istemci yönünde 20 Mbit/s. Sunucuda canlıdaki nginx build'imiz çalıştı. İstemci, max_udp_payload_size olarak 1472 bildiren aioquic'ti ve HTTP/3 üzerinden 8 MB'lık bir dosya indiriyordu. Aktarımın ortasında yönlendiricinin istemciye bakan bağlantısı, ICMP'li ya da ICMP'siz olarak daraltıldı.

Önemli durumlar:

1500 → 1492 ya da 1400, ICMP ulaşıyor. Düzeltme olmadan bağlantı yaklaşık 1 MB'tan (999 KB) sonra, her seferinde tam bir alarmla kapandı. Düzeltmeyle 8 MB eksiksiz geldi, checksum tuttu ve aktarımdaki en uzun duraklama 0,06 saniyeydi.

Temiz 1500 baytlık yol. Path MTU keşfi tam önceki gibi davrandı.

1220 baytlık yol, 1200 baytlık bir QUIC yükünün ihtiyacından küçük. İki build de bir kez başarısız oldu, bir kez logladı ve durdu: döngü yok, boşa dönen CPU yok.

Aynı yol, ICMP düşürülüyor (kara delik). Düzeltme olmadan aktarım süresiz takıldı ve hiç log yoktu. Bu durum EMSGSIZE değildir, çünkü çekirdek hiçbir şey öğrenmez; upstream'de bunun için ayrı bir değişiklik var: #1901 (PMTU black hole detection). Kendi build'imiz bu durum için küçük bir kara delik geri düşüşü de taşıyor; upstream'de o durumu #1901'e bıraktık, iki değişiklik birbirini tamamlıyor.

Bütün koşular toplam 52 oldu; dağıttığımız iki build'de de sonuç aynıydı.

Lab topolojisinin kısaltılmış hâli

# üç namespace: istemci <-> yönlendirici <-> sunucu
ip netns add cli; ip netns add rtr; ip netns add srv
ip link add c0 netns cli type veth peer name r0 netns rtr
ip link add s0 netns srv type veth peer name r1 netns rtr
ip -n cli addr add 10.0.1.2/24 dev c0; ip -n rtr addr add 10.0.1.1/24 dev r0
ip -n srv addr add 10.0.2.2/24 dev s0; ip -n rtr addr add 10.0.2.1/24 dev r1
for ns in cli rtr srv; do ip -n $ns link set lo up; done
ip -n cli link set c0 up; ip -n rtr link set r0 up
ip -n rtr link set r1 up; ip -n srv link set s0 up
ip -n cli route add default via 10.0.1.1
ip -n srv route add default via 10.0.2.1
ip netns exec rtr sysctl -qw net.ipv4.ip_forward=1

# 40 ms gidiş-dönüş, istemci yönünde 20 Mbit/s
ip netns exec rtr tc qdisc add dev r0 root netem delay 20ms rate 20mbit
ip netns exec rtr tc qdisc add dev r1 root netem delay 20ms

# srv'de nginx'i, cli'de 8 MB'lık HTTP/3 indirmesini başlatın, sonra
# istemci tarafındaki bağlantıyı daraltın: yönlendirici ICMP ile cevap verir
ip -n rtr link set r0 mtu 1400

# kara delik çeşidi (hiç ICMP yok) -- #1901'in kapsadığı durum
ip netns exec rtr iptables -A OUTPUT -p icmp --icmp-type fragmentation-needed -j DROP

Düzeltme: gönderimi geri al, yeniden kur, yeniden ara

EMSGSIZE'ın işe yarayan tarafı senkron olmasıdır: çekirdek datagramı makineden çıkmadan reddetmiştir. nginx'te gerçekleşmemiş bir gönderim için gereken mekanizma zaten var, çünkü EAGAIN da aynı şekilde ele alınıyor. ngx_quic_revert_send() çerçeveleri geri koyar ve paket numaralarını geri sarar; döngü onları yeniden kurar.

Edge'lerimizde 13 Kasım 2026'dan beri çalışan ilk sürüm en azını yapıyordu: 1200 baytın üstündeki bir datagram EMSGSIZE alınca gönderimi geri al, path MTU'yu 1200'e indir, o yolda keşfi durdur ve aynı çerçeveleri 1200 baytlık datagramlarla yeniden kur. 1200'de hata ölümcül kalır. QUIC en küçük boyutunu reddeden bir yolda çalışamaz; ölümcül bırakmak da yeniden deneme döngüsüne giden bir yol bırakmaz.

Pull request'teki incelemede, Ekim'den beri kendi düzeltmesini çalıştıran bir operatör, GitHub kullanıcısı stathis, bağlantının ömrünün geri kalanında 1200'de kalmaması gerektiğini söyledi: tavanı reddedilen boyuta indir ve keşfe devam et. Haklıydı; şu anda #1984'teki revizyon yolun en büyük MTU'sunu reddedilen boyuta indiriyor ve keşfi onun altında yeniden başlatıyor. Lab'da datagram boyu ICMP'den 0,25–0,7 saniye sonra 1200 yerine 1492'lik bağlantıda 1463 bayta, 1400'lükte 1370'e, IPv6'da 1400'lük bağlantıda 1338'e oturuyor. Aynı aktarımda sonradan gelen ikinci bir düşüş (önce 1400, sonra 1300) tavanı yeniden indiriyor ve boy 1263'e oturuyor. Düşüşten sonraki bir port değişikliği keşfedilen boyu koruyor. Reddedilen boyut hiçbir zaman güncel MTU'yu aşmadığından en büyük değer yalnızca aşağı iner.

Değişiklik --with-debug ile de, onsuz da -Werror ile derleniyor; nginx'in HTTP/3 ve QUIC test takımı geçiyor: 402 test, master ile aynı.

Değişikliğin özü (nginx/nginx#1984'ten)

/* ngx_quic_create_datagrams(), src/event/quic/ngx_event_quic_output.c */

n = ngx_quic_send(c, dst, len, path->sockaddr, path->socklen);

err = ngx_socket_errno;

if (n == NGX_ERROR) {

    if (err == NGX_EMSGSIZE && len > NGX_QUIC_MIN_INITIAL_SIZE) {
        /* send the same frames again in smaller datagrams */

        c->write->error = 0;
        ngx_quic_revert_send(c, preserved_pnum);
        ngx_quic_path_mtu_rejected(c, path, len);
        continue;
    }

    return NGX_ERROR;    /* reddedilen 1200 baytlık datagram hâlâ ölümcül */
}

/* ngx_quic_path_mtu_rejected(), src/event/quic/ngx_event_quic_migration.c */

path->max_mtu = size;                       /* reddedilen boyut bir daha denenmez */
path->mtu = NGX_QUIC_MIN_INITIAL_SIZE;      /* 1200 */

if (path->state != NGX_QUIC_PATH_VALIDATING) {
    ngx_quic_discover_path_mtu(c, path);    /* reddedilen boyutun altında yeniden ara */
}

GSO, yarım gönderilmiş paket grupları ve nonce'lar

Edge'lerimiz quic_gso off ile çalıştığı için ilk commit yalnız ngx_quic_create_datagrams()'i kapsıyordu. quic_gso on iken verinin çoğu ngx_quic_create_segments()'in kurduğu ve çekirdeğe UDP_SEGMENT ile verilen gruplar hâlinde gider; aynı EMSGSIZE orada bağlantıyı hâlâ kapatıyordu. stathis her yerde GSO kullanıyor ve onun alarmları o daldan geliyordu.

Bir grup tek bir datagramdan daha zordur, çünkü çekirdek geri kalanını reddetmeden önce bir kısmını göndermiş olabilir; bunu IPv6'da gördük. Tek datagram yolunda olduğu gibi paket numaralarını geri sarmak, aynı numarayla iki farklı paket göndermek olurdu ve QUIC'te paket numarası AEAD nonce'ının parçasıdır. Onun commit'i reddedilen grubun numaralarını yeniden kullanmak yerine atlıyor ve çerçeveleri yeni paketlerle yeniden gönderiyor. Lab'ımızda hiçbir paket numarası iki kez gitmedi, atlananlar da hiç yeniden kullanılmadı.

Bir tuzak daha vardı. Linux 6.14'ten önce (upstream commit 235174b2bed8; 6.13.3, 6.12.14, 6.6.78, 6.1.129, 5.15.179, 5.10.235 ve 5.4.291'e geri taşındı) çekirdek, GSO segment boyu path MTU'yu aştığında EMSGSIZE değil EINVAL döndürüyor. Üçüncü commit GSO dalında EINVAL'ı, yalnız 1200 baytın üstündeki segmentler için, EMSGSIZE gibi ele alıyor. Lab çekirdeğimizde yeni davranış zaten vardı; bu yüzden o EMSGSIZE hatalarını EINVAL'a çeviren bir LD_PRELOAD katmanıyla test ettik: commit olmadan bağlantı kapandı (IPv4 8/8, IPv6 2/2), commit ile her koşu tamamlandı.

stathis commit'ini bizimkinin üstüne ayrı bir pull request olarak açtı. Test ettik, yazarlığı onda kalarak #1984'e almayı önerdik; kabul etti ve kendi PR'ını kapattı. Pull request'te artık üç commit var; #888'in tamamı tek yerde.

Canlıda ne değişti

İlk sürümü önce tek bir edge sunucusuna kurup kontrol ettik ve aynı akşam, 13 Kasım 2026'da, filonun geri kalanına taşıdık. Kanaryada trafik gigabiti başına CPU yerinde kaldı.

Yamadan önce alarm filo genelinde günde 8 ile 35 arasındaydı. Dağıtımdan sonraki ilk iki günde iki alarm görüldü. İkisi de ölümcül bırakmayı seçtiğimiz durumdu: QUIC'in en küçük boyutunu taşıyamayan bir yolda 1200 bayt ya da daha küçük bir datagramın reddi. Geri kalan her EMSGSIZE artık bağlantıya kendisine değil, yeniden kurulan bir paket turuna mal oluyor.

Upstream pull request nginx/nginx#1984 14 Kasım 2026'da açıldı ve #888'i kapatıyor. 20 Kasım itibarıyla açık ve nginx ekibinin incelemesini bekliyor; katkıcı lisans sözleşmesini iki yazar da imzaladı. #1901 önce birleşirse #1984'teki yeniden başlatma mantığı zaten aynı adımları izliyor; ikisi birbirine oturuyor.

İlgili: NAT rebinding sonrası sessizleşen HTTP/3 bağlantıları

İlk şüphelendiğimiz dağıtımın kendi hikâyesi vardı. 10–15 saniye boşta kaldıktan sonra cevap vermeyi bırakan HTTP/3 bağlantıları bildirilmişti: hata yok, reset yok, istemci vazgeçene kadar sessizlik.

Arkasında iki şey vardı. Birincisi, quic_host_key yoksa her reload nginx'e stateless reset için yeni rastgele bir anahtar verir. Bağlantısı onu tanımayan bir worker'a düşen istemci doğrulayamadığı bir reset alır ve bunun yerine boşta kalma süresinin dolmasını bekler; Safari'de bir iki dakika. Lab'da reload sonrası CONNECTION_CLOSE kaybolduğunda 8 istemcinin 8'i zaman aşımına kadar asılı kaldı; kalıcı anahtarla 8'in 8'i 3 ms ya da daha kısa sürede geçerli bir stateless reset aldı ve hemen yeniden bağlandı.

İkincisi NAT rebinding. Birkaç saniye trafik görmeyen bir ev modemi akışa yeni bir kaynak port verebilir. reuseport ile çekirdek soketi 4'lünün hash'ine göre seçer; yeni port bağlantıyı tanımayan başka bir worker'a düşebilir. Bunu canlı edge'lerde 15 saniye boşta bekleme ve port değişikliğiyle ürettik: bağlantıların 6'da 5'i ve 6'da 6'sı 40 saniyelik zaman aşımına kadar asılı kaldı; port değişmeyince 6'da 6 sorunsuzdu. Kalıcı anahtar tek başına bunu çözmüyor (lab'da 8'in 7'si yine asılı kaldı). quic_bpf çözüyor: bir eBPF programı her paketi, connection ID'sinin sahibi olan worker'a yönlendiriyor. İkisi birlikte açıkken aynı test 16'da 16 ve 8'de 8 geçti.

quic_bpf kullanıyorsanız bir uyarı: nginx binary'sini USR2 ile yerinde değiştirmeyin. Bu yolla yaptığımız ilk binary yükseltmesinden sonra yeni HTTP/3 el sıkışmalarının yaklaşık %40'ı zaman aşımına uğradı, çünkü paketler bağlantının sahibi olmayan worker'lara gidiyordu. Reload düzeltmedi; temiz bir restart düzeltti. Yükseltme araçlarımız artık quic_bpf açıkken USR2'yi reddediyor.

İki direktif, edge'lerimizde çalıştığı hâliyle

# main bağlamı: her QUIC paketini, connection ID'ye bakarak bağlantının
# sahibi olan worker'a yönlendir (Linux 5.7 ve üstü)
quic_bpf on;

http {
    # reload'lar ve worker'lar arasında tek anahtar: stateless reset geçerli kalır
    # (bir kez üretin: openssl rand -out /etc/nginx/quic_host.key 32)
    quic_host_key /etc/nginx/quic_host.key;

    server {
        listen 443 quic reuseport;
        listen 443 ssl;
        # ...
    }
}

Nasıl yapılır

Yardım merkezindeki adım adım rehberler:

Sık sorulan sorular

nginx hata logumda "sendmsg() failed (90: Message too long)" görüyorum. Bugün ne yapabilirim?

Düzeltme, güncel mainline'a uygulanan nginx/nginx 1984 numaralı pull request'te. Birleştirilene kadar kendi build'inizde yama olarak taşıyabilirsiniz. quic_gso kapatmak işe yaramıyor. nginx'te QUIC datagram boyunu sınırlayan bir direktif yok; path MTU keşfini durduracak çekirdek ayarları (ip_no_pmtu_disc, mtu_expires) TCP'yi de değiştirdiği için onlara dokunmadık.

Bu, PMTU kara delikleriyle aynı sorun mu?

Hayır. Kara delikte büyük paketler düşer ve hiç ICMP dönmez; çekirdek bir şey öğrenmez, gönderen yalnızca kayıp görür. Bunu nginx/nginx 1901 numaralı pull request ele alıyor. Burada ICMP ulaşıyor, çekirdek bir sonraki büyük datagramı EMSGSIZE ile reddediyor ve nginx bağlantıyı kapatıyordu. İki düzeltme birbirini tamamlıyor.

Neden her zaman 1200 baytlık datagram gönderilmiyor?

Çünkü büyük datagram aynı veriyi daha az paketle taşır ve iki uçta da bayt başına daha ucuzdur. Düzeltme bu yüzden yalnız yeniden kurulan paketler için 1200'e iner, sonra reddedilen boyutun altında yeniden arar; lab'ımızda 1400 baytlık bağlantıda 1370 bayta oturuyor.

ICMP mesajları nereden geliyor?

On dakikalık yakalamamızda 25 mesajın 18'i yol üzerindeki yönlendiricilerden, 7'si istemcinin kendi adresinden geldi; tipik olarak PPPoE yapan bir ev modemi (MTU 1492) ya da bir tünel (MTU 1420). Biri reddettiği paketten büyük bir MTU bildirdi ve çekirdek onu yine de sakladı.

CDN.com.tr üzerindeki siteler etkileniyor mu?

Edge'lerimiz 13 Kasım 2026'dan beri yamalı build'i çalıştırıyor. Daralan bir yoldaki HTTP/3 bağlantıları artık kapanmak yerine daha küçük datagram boyuyla devam ediyor.