Перейти к основному содержимому

Метки пакетов

Метка - это 32-битное число, которое ядро хранит вместе с пакетом. Правила файрвола ставят и проверяют её, ip rule выбирает по ней таблицу маршрутизации, а сокет может ставить её на каждый отправленный пакет. Вторую 32-битную метку conntrack хранит для каждого соединения. b4 с помощью меток отличает пакеты, которые отправил сам, от тех, что ещё предстоит обработать, направляет трафик сета в его маршрут или на свой слушатель и выводит собственные соединения из-под своих правил маршрутизации, а часть из них и из-под обработки пакетов.

Сервисы, которые занимаются policy-маршрутизацией или прозрачным проксированием, работают с теми же 32 битами: Xray и XKeen, sing-box и mihomo, XrayUI, podkop, Tailscale, WireGuard, mwan3. Если два сервиса используют один бит, один может принять пакеты другого за свои, а сервис, который пишет метку целиком, стирает биты, поставленные другими. Ниже перечислены биты, которые b4 пишет и читает, правила маршрутизации, которые с ними связаны, и значения, которые используют некоторые другие сервисы на роутерах.

Как читать метку​

ЗаписьЗначение
0x5aef/0x27fffБиты под 0x27fff равны 0x5aef, остальные не сравниваются
0x8000/0x8000Бит 0x8000 установлен, что бы ни было в остальных битах
fwmark 0x5aef/0x27fff lookup 119 в ip ruleПакеты, чья метка совпадает с 0x5aef/0x27fff, маршрутизирует таблица 119
fwmark 0x111 lookup 111 в ip ruleМаски нет: вся 32-битная метка должна быть равна 0x111

Правило, которое пишет метку с маской, меняет только биты под маской и сохраняет остальные. В iptables это MARK --set-xmark 0x5aef/0x27fff или CONNMARK --save-mark --nfmask 0x27fff --ctmask 0x27fff. nftables выводит такую же запись как meta mark set meta mark & 0xfffddaef | 0x00005aef: AND сохраняет все биты вне 0x27fff (nft вписывает в эту константу и биты самого значения), OR записывает 0x5aef. Правило без маски, например meta mark set 0x00021546 в nftables или MARK --set-mark 0x111 в iptables, заменяет все 32 бита и стирает то, что туда записал другой сервис. nft list выводит каждое значение дополненным до восьми цифр: 0x00008000 вместо 0x8000.

ВидГде хранитсяГде видна
Метка пакета (fwmark)На одном пакете, от правила или сокета, который её поставил, до выхода пакета с роутераmeta mark в nftables, -m mark и MARK в iptables
Метка соединенияВ записи conntrack, общая для всех пакетов соединения в обе стороныct mark, -m connmark и CONNMARK, mark= в /proc/net/nf_conntrack
Метка сокета (SO_MARK)На сокете; каждый отправленный им пакет начинает с этой меткиfwmark: в выводе ss -e, запущенного от root на ядре 4.9 или новее (для raw-сокетов 4.10)

Какие биты использует b4​

Метка пакета​

БитыМаскаНазначениеЗначение
0-14, 170x27fffМаршрут сета с маршрутизациейСвоя у каждого сета; сеты с одним выходным интерфейсом, egress IP, шлюзом и аварийным отключением делят одну. См. сеты с выходным интерфейсом и прокси-сеты
15 по умолчанию0x8000 по умолчаниюМетка очереди: пакеты, которые b4 отправляет из raw-сокетов, кроме пакетов устройству в режиме TUN, DNS-запросы, которые он отправляет за клиентов и для своих сетов, и его проверки, которые идут мимо его обработкиМетка пакета в разделе Настройки, Основные, Движок пакетов, по умолчанию 0x8000 (32768)
180x40000Соединения, которые b4 открывает с upstream прокси-сета, Telegram, Хабом сообщества, ipinfo и RIPEstat, соединения прогрева и резервные соединения при включённом Повторное использование соединения WSSIZE, и его прозрачные слушатели; см. метки сокетовФиксирована
210x200000Собственные соединения b4, исходящие пакеты которых обработка пакетов не трогает, например соединение, которое несёт TLS устройства при включённом Повторное использование соединения WSSIZE; b4 узнаёт их по 0x240000 целиком, а не по этому битуФиксирована, ставится вместе с битом 18 как 0x240000
240x1000000TCP-пакет прокси-сета, отправленный самим роутеромФиксирована, прибавляется к метке сета
250x2000000Режим NFQUEUE: пакеты, которые b4 отправляет в соединение из raw-сокетов, например фейки, сегменты после разделения и повторно отправленные SYN; см. соединения, в которые b4 отправляет пакетыФиксирована, прибавляется к метке очереди
260x4000000Собственные соединения b4 с Telegram, пока применяется Сет для Telegram без маршрутизации, в режиме NFQUEUE пакеты, которые b4 отправляет в TCP-соединения, открытые им самим, а в режиме TUN пакеты, которые b4 отправляет в соединения, открытые им для сета для Telegram; см. соединения самого b4Фиксирована, ставится вместе с битом 18 как 0x4040000
280x10000000Режим TUN: пакеты, которые b4 отправляет обратноФиксирована; прибавляется к метке очереди, а у пакетов, которые отправляет поиск Дискавери в режиме TUN, - к метке отправленных пакетов Дискавери
290x20000000Пакеты, которые b4 отправляет устройству в сетиФиксирована; в режиме NFQUEUE прибавляется к метке очереди, а у пакетов, которые поиск Дискавери в режиме NFQUEUE отправляет обратно к своим проверочным соединениям, - к метке отправленных пакетов Дискавери
300x40000000Режим TUN: пакеты, направленные в b4tun0; не используется, когда в b4tun0 указывает сам маршрут по умолчаниюФиксирована
все0xffffffffДискавери, только во время поискаПо умолчанию метка очереди плюс 1 и плюс 2, 0x8001 и 0x8002; их заменяют system.checker.discovery_flow_mark и system.checker.discovery_injected_mark

С меткой очереди по умолчанию и вне поиска Дискавери b4 не ставит на пакеты другие биты: биты 16, 19, 20, 22, 23, 27 и 31 свободны. Правила файрвола b4 читают их только в четырёх совпадениях. По 0x240000/0x8efd8000 b4 узнаёт собственные соединения с 0x240000. По 0x4040000/0x8efd8000 цепочка B4_TUN в iptables узнаёт соединения b4 для сета для Telegram и захватывает их, даже когда их адрес назначения входит в сет с маршрутизацией. По 0x8000/0x88f98000 цепочки очереди и правила, которые ставят в очередь или копируют DNS-запросы, узнают собственные пакеты b4 (см. Метка очереди). По 0x1000000/0xfffd8000 цепочки очереди узнают пакет самого роутера, который пометил прокси-сет. Все четыре совпадения требуют, чтобы этих битов не было, и пакет с любым из них не принимается ни за такое соединение, ни за такой пакет. Правила, которые пишут метку целиком, у прокси-сетов в nftables и у Дискавери, стирают эти биты на пакетах, которые забирают. Бит 16 оставлен для 0x10000 от XrayUI.

Метка соединения​

БитыМаскаНазначение
300x40000000Соединение принадлежит сету с выходным интерфейсом
0-14, 170x27fffМетка этого сета, скопированная с первого пакета соединения. Сет, который перенаправляет соединения через TPROXY и использует собранные IP, тоже пишет сюда свою метку, без бита 0x40000000, на новом соединении к собранному адресу; см. Собранные адреса
15 по умолчаниюМетка очереди, по умолчанию 0x8000Режим NFQUEUE, в iptables при наличии модуля connmark: в этом соединении с роутера ушёл пакет с меткой очереди и без битов 0x2000000 и 0x20000000, как собственные запросы и проверки b4. Фейк или сегмент после разделения, который b4 отправляет в соединение устройства, её не ставит, как и пакет, который b4 отправляет устройству. Правила очереди b4 для пакетов, входящих в роутер, пропускают ответы таких соединений, которые доходят до сокета на роутере; см. Метка очереди
250x2000000Режим NFQUEUE, в iptables при наличии модуля connmark: b4 отправил в это соединение собственный пакет, например фейк или сегмент после разделения. Правила очереди b4 для пакетов, входящих в роутер, пропускают TCP-пакеты этого соединения, кроме SYN-ACK и сбросов, если ни у одного включённого сета не задан режим входящих или Собирать обнаруженные IP; см. соединения, в которые b4 отправляет пакеты
все0xffffffffПроверочные соединения Дискавери во время поиска в режиме NFQUEUE

Метки сокетов​

СокетыМетка
Raw-сокеты для фейков, сегментов после разделения и пакетов, которые b4 отправляет обратноВ режиме NFQUEUE метка очереди с добавленным 0x2000000, по умолчанию 0x2008000, а для пакетов, которые b4 отправляет в TCP-соединение, открытое им самим (см. Соединения, в которые b4 отправляет пакеты), ещё и с добавленным 0x4040000, по умолчанию 0x6048000; в режиме TUN метка очереди с добавленным 0x10000000, по умолчанию 0x10008000, а для пакетов, которые b4 отправляет в соединение, открытое им для сета для Telegram, ещё и с добавленным 0x4040000, по умолчанию 0x14048000
Raw-сокеты для пакетов устройству: ответы DNS, которые собирает b4, сбросы, ICMP; в режиме TUN ещё и перехваченные ответы DNS и ответные пакеты, которые b4 отправляет обратноМетка очереди с добавленным 0x20000000, по умолчанию 0x20008000; в режиме TUN только 0x20000000
DNS-запросы, которые b4 отправляет за клиентов (DNS-редирект сета, DNS через TCP), и его запросы через резолвер сета, включая запрос имени хоста DoH-резолвера для нихМетка очереди
Проверки Детектора DPI, кроме запросов через b4 и запросов к системному резолверу; проверки закреплённых ответов DNS и недоступных адресов; запрос внешнего адреса роутера; запросы в обход b4 у MCP-инструмента b4_test_domain_now и у проверки применённого сета из Хаба сообществаМетка очереди
Прозрачные слушатели прокси-сетов и все соединения, которые они открывают, с upstream или, при Прямое подключение при недоступности upstream, напрямую; TCP-соединения SOCKS5-сервера b4 с доменами из целей прокси-сета, которые идут через upstream сета; соединения MTProto-прокси и Telegram через WebSocket с Telegram и загрузка ими списков адресов; пересылка MTProto-прокси на его домен для Fake SNI; запросы к Хабу сообщества, ipinfo и RIPEstat0x40000. Если синхронизация с Хабом не может соединиться, b4 повторяет её с меткой очереди; если этот повтор соединился, следующие запросы к Хабу идут с меткой очереди, пока синхронизация с ней не перестанет соединяться, а повтор с 0x40000 не соединится
Повторное использование соединения WSSIZE: прозрачный слушатель, соединение прогрева с исходного порта из диапазона 63000-63999, который b4 выделяет для него, соединение, которое затем несёт TLS устройства с этого порта, и резервное соединение с обычного исходного порта0x40000; 0x240000 у соединения, которое несёт TLS устройства
Соединения через домены за Cloudflare-прокси или свой домен WebSocket, а также с Cloudflare Worker0x240000, пока Сет для Telegram не применяется; когда он применяется, - метки из следующей строки
Соединения MTProto-прокси и Telegram через WebSocket с Telegram по всем маршрутам, включая домены за Cloudflare-прокси, свой домен WebSocket и Cloudflare Worker, их проверка соединения, загружаемые ими списки адресов и доменов и прямые соединения сета Telegram через WebSocket, пока применяется Сет для Telegram, в режиме NFQUEUE и в режиме TUN0x4040000 у сета без маршрутизации; 0x240000 с меткой маршрута сета у сета с маршрутом через интерфейс; своей метки нет у прокси-сета, слушатель которого открывает их через upstream
Проверочные соединения Дискавери и их запросы имён; пакеты, которые Дискавери отправляет самМетка потока; метка отправленных пакетов, с добавленным 0x20000000 у пакетов, которые уходят обратно к проверочным соединениям. По умолчанию метка очереди плюс 1 и плюс 2, и 0x20008002 в сторону проверочных соединений. В режиме TUN - метка отправленных пакетов с добавленным 0x10000000, 0x10008002 по умолчанию, и только 0x20000000 в сторону проверочных соединений
Проверки мониторинга (Watchdog); запросы через b4 у Детектора DPI, b4_test_domain_now и проверки сета из Хаба; соединения, которые SOCKS5-сервер b4 открывает к остальным адресам; все остальные запросы к системному резолверу, в том числе имён остальных соединений выше и доменов сета, у которого нет своего резолвера или чьи резолверы не смогли разрешить имя при выключенном Отдавать SERVFAIL, если ни один резолвер не доступен; загрузка GeoIP и GeoSite, проверка и загрузка обновлений, база производителей устройств, запросы к AI-помощникуНет

Соединение без метки обрабатывается как любое соединение самого роутера: оно проходит обработку пакетов и все сеты, которые берут трафик роутера.

Что b4 не трогает​

Правила b4Пакет пропускается, если
Обработка пакетов, nftables (inet b4_mangle)b4_chain, правила для исходящих портов, пропускает его, если его метка считается меткой самого b4 (см. Метка очереди), его биты под 0x27fff равны 0x24bab или метке прокси-сета, в его метке есть бит 0x1000000, хотя бы один бит под 0x27fff и нет битов вне 0x1027fff, как у пакета самого роутера, который пометил прокси-сет, его метка совпадает с 0x240000/0x8efd8000 или он уходит через lo с любым битом под 0x27fff, как соединение самого роутера по пути к слушателю прокси-сета или Telegram через WebSocket, а во время поиска Дискавери ещё и если его метка в точности равна метке потока или метке отправленных пакетов. В b4_chain переходит postrouting, а если фильтрация устройств выбирает устройства, - forward для их пакетов и output для пакетов самого роутера. output принимает пакет со всеми битами метки очереди выше этого перехода. Ниже своих правил пропуска b4_chain отбрасывает UDP, адреса и порты которого есть в наборе b4_udp_drop4 или b4_udp_drop6: это QUIC-соединения, которые сет отбрасывает, отклоняет или блокирует; см. Перехват пакетов. prerouting с правилами для DNS-ответов и других ответов метку пакета не проверяет. Он пропускает ответ, который доходит до сокета на роутере, если в метке его соединения есть все биты метки очереди, а пока ни у одного включённого сета не задан режим входящих или Собирать обнаруженные IP, ещё и TCP-пакеты без SYN и RST у соединений, в метке соединения которых есть бит 0x2000000 и нет ни одного бита метки очереди. raw_prerouting и raw_output, которые ставят DNS-запросы в очередь с приоритетом -300, раньше conntrack, пропускают пакет, метка которого считается меткой самого b4, а во время поиска Дискавери ещё и пакет, чья метка в точности равна метке потока или метке отправленных пакетов; raw_output пропускает и пакет, уходящий через lo. Пока они ставят DNS-запросы в очередь, b4_chain пропускает UDP на порт 53. Правила MSS clamping стоят первыми в prerouting, output и forward, если не считать правил, которые добавляет над ними поиск Дискавери
Обработка пакетов, iptables (B4, B4_PREROUTING)B4, правила для исходящих портов, первым делом пропускает пакет, метка которого считается меткой самого b4, как и b4_chain в nftables. В B4 переходит mangle POSTROUTING или, если фильтрация устройств выбирает устройства, mangle FORWARD для их пакетов и mangle OUTPUT для пакетов самого роутера. Mangle OUTPUT принимает пакет, который роутер отправляет со всеми битами метки очереди, выше этого перехода. Кроме того, B4 пропускает пакет, если его биты под 0x27fff равны 0x24bab или метке прокси-сета, в его метке есть бит 0x1000000, хотя бы один бит под 0x27fff и нет битов вне 0x1027fff, его метка совпадает с 0x240000/0x8efd8000 или он уходит через lo с любым битом под 0x27fff, а во время поиска Дискавери ещё и если его метка в точности равна метке потока или метке отправленных пакетов. B4_PREROUTING и правила для DNS-ответов метку пакета не проверяют; при наличии модуля connmark B4_PREROUTING пропускает те же пакеты, что и prerouting в nftables. DNS-запросы ставит в очередь цепочка B4_RAW в таблице raw: в неё переходят raw PREROUTING и OUTPUT для UDP на порт 53, и она пропускает пакет, метка которого считается меткой самого b4, а во время поиска Дискавери ещё и пакет, чья метка в точности равна метке потока или метке отправленных пакетов; пока она ставит их в очередь, B4 пропускает UDP на порт 53. На KeeneticOS, где B4_RAW не используется никогда, и на ядре до 4.18 (4.14 до 4.14.173), где таблица raw не умеет ставить пакеты в очередь, DNS-запросы вместо этого копируются: mangle INPUT и FORWARD в самом начале переходят в B4_DNSCOPY для UDP на порт 53, а mangle OUTPUT - для такого UDP, который уходит не через lo. B4_DNSCOPY пропускает пакет, метка которого считается меткой самого b4, а каждый другой копирует в группу NFLOG queue.start_num, по умолчанию 537, с префиксом b4dns, а копию из mangle OUTPUT, в метке которой есть все биты метки очереди, b4 игнорирует; пока она копирует запросы, B4 тоже пропускает UDP на порт 53, а правила для DNS-ответов, как и при B4_RAW, не ставят в очередь UDP, идущий на порт 53. Если b4 не может ни ставить DNS-запросы в очередь из таблицы raw, ни копировать их, правила для DNS-запросов стоят вместо этого в B4_PREROUTING и mangle OUTPUT и метку пакета не проверяют
Сама очередь, оба бэкендаb4 отпускает пакет без изменений, если его метка совпадает с 0x240000/0x8efd8000, под 0x27fff стоит 0x24bab или в ней есть все биты метки очереди, остальная часть состоит только из битов 0x27fff, 0x2000000 и 0x4040000, а сама метка не равна в точности ни одной из двух меток Дискавери. На ядрах 3.14 и новее он также отпускает пакет, который сокет на роутере отправил со всеми битами метки очереди, если метка не равна в точности ни одной из двух меток Дискавери. TCP-пакет на порт 443 без бита 0x40000 в метке отпускается без изменений, если у сета, с которым совпал его адрес, действует Повторное использование соединения WSSIZE, сет считается перенаправленным, а его Фильтр версии IP допускает семейство адресов пакета; см. Повторное использование соединения WSSIZE. Пакет, который уходит через туннель, тоже не получает стратегии, как и пакет, который метка другого сервиса отправляет не тем маршрутом, каким ушли бы пакеты b4. С iptables legacy эта проверка касается любой метки, пока ни у одного другого сервиса на роутере нет таблиц nftables, а параметр Пропустить настройку IPTables/NFTables выключен. Иначе она касается только меток со всеми битами метки очереди; см. Пакеты, уходящие другим маршрутом
Сеты с маршрутизацией, кроме сетов блокировки, пакеты на входе в роутер (b4r_*_pre), включая пакеты самого роутера, которые прокси-сет возвращает через loВ его метке есть все биты метки очереди или бит 0x40000, или его биты под 0x27fff не равны нулю и, в цепочке прокси-сета, отличаются от собственной метки этого сета. У сета с включённым Использовать собранные IP ещё и пакет к собранному адресу, если его соединение не новое и в метке соединения под 0x27fff нет метки сета, кроме TCP-пакета соединения, которое в цепочке прокси-сета уже держит прозрачный сокет; см. Собранные адреса
Сеты с маршрутизацией, пакеты самого роутера (b4r_*_out)В его метке есть бит 0x40000 или любой бит под 0x27fff. Пакет со всеми битами метки очереди тоже пропускается - после того как сет с выходным интерфейсом поставит ему свою метку, если адрес назначения входит в сет; сет, который не берёт трафик самого роутера и задаёт устройства только IP-адресами, делает это только для пакетов с этих адресов. IPv4-сообщения ICMP redirect, которые отбрасывает сет со шлюзом, как описано в разделе сеты с выходным интерфейсом, отбрасываются при любой метке. У сета с включённым Использовать собранные IP пропускается и пакет к собранному адресу, если его соединение не новое и в метке соединения под 0x27fff нет метки сета
Отказ QUIC у прокси-сета с выключенным Маршрутизировать UDP через upstream или включённым Блокировать QUIC (форсировать TCP), для транзитных пакетов (b4r_*_q) и пакетов самого роутера (b4r_*_qo)В его метке есть все биты метки очереди или бит 0x40000; в b4r_*_q ещё и если он пришёл с устройства вне исходных устройств сета
Сеты блокировкиМетку они не проверяют, только адрес назначения и, если они заданы в сете, исходные интерфейсы и исходные устройства. Сет с включённым Использовать собранные IP пропускает пакет к собранному адресу, если его соединение не новое
Захват TUN (B4_TUN)В его метке есть все биты метки очереди или бит 0x20000000, она совпадает с 0x240000/0x8efd8000, её биты под 0x27fff равны 0x24bab или она в точности равна метке потока Дискавери либо её метке отправленных пакетов с 0x10000000 или без него, если в этой метке нет какого-либо бита метки очереди; в iptables ещё и если адрес назначения входит в сет с маршрутизацией, кроме сетов блокировки, если только его метка не равна 0x4040000 под 0x8efd8000. Собственные соединения b4 с 0x40000 или 0x4040000 захватываются, как любые другие, а соединения сета для Telegram и тогда, когда их адрес назначения входит в сет с маршрутизацией. Пропускается и пакет в сеть, где у роутера есть собственный IPv4-адрес, если это не DNS по UDP и не TCP RST, который цепочка захватывает; пока b4 захватывает только соединения самого роутера, такой пакет пропускается всегда, кроме DNS-запроса по UDP к шлюзу аплинка
TUN через весь маршрут по умолчаниюПравилами b4 уходят только пакеты с битом 0x10000000, а если ip принимает suppress_prefixlength, ещё и с битом 0x20000000; любой другой пакет, который идёт по маршруту по умолчанию, попадает в b4tun0. Во время поиска Дискавери пакеты, чья метка в точности равна метке потока или метке отправленных пакетов, идут по правилам Дискавери с приоритетами 80-83, см. Дискавери
NAT Masquerade (b4_masq, B4_MASQ)В его метке есть бит 0x20000000. В iptables этот RETURN стоит в начале nat POSTROUTING, поэтому такой пакет пропускает все следующие там правила, в том числе правила других сервисов
Задать DSCP и собственные значения DSCP сетов (B4_DSCP, inet b4_dscp)В его метке есть бит 0x20000000, он уходит через lo или идёт в ответном направлении своего соединения. В iptables переход в B4_DSCP стоит в начале mangle POSTROUTING; в nftables таблица inet b4_dscp работает в postrouting с приоритетом 150. Значения сетов записываются в той же цепочке или таблице, после значения Задать DSCP, правилами, которые выбирают значение только по адресу назначения
Перенаправление DNS через TCPВ его метке есть все биты метки очереди
Дискавери во время поиска в режиме NFQUEUEВ начале цепочки пакет, чья метка в точности равна метке отправленных пакетов, принимается, а пакет, чья метка или метка соединения в точности равна метке потока, уходит в очередь Дискавери; в обоих случаях он пропускает остаток цепочки. В iptables это встроенные mangle PREROUTING и OUTPUT, поэтому он пропускает все следующие там правила. Цепочка DSCP Дискавери, B4_DISCOVERY_DSCP или b4_discovery_dscp, не трогает пакет, чья метка не равна в точности одной из двух

Если в ядре есть match направления conntrack, правила очереди для TCP, включая правила для адресов дублирования пакетов сета, проверяют и направление: ct direction original в b4_chain и -m conntrack --ctdir ORIGINAL в B4, ct direction reply в prerouting и -m conntrack --ctdir REPLY в B4_PREROUTING. См. Перехват пакетов.

Что b4 пишет в чужие пакеты​

Правила b4Что пишут
Сеты с выходным интерфейсомБиты метки пакета под 0x27fff; биты метки соединения под 0x27fff и бит 0x40000000. С маской, остальные биты остаются
Прокси-сеты, iptablesБиты метки пакета под 0x1027fff. С маской
Прокси-сеты, nftablesМетку пакета целиком
Прокси-сеты и сеты в режиме Telegram через WebSocket с включённым Использовать собранные IPБиты метки соединения под 0x27fff, в которые записывается метка сета, на новом TCP-соединении к собранному адресу и, при включённом Маршрутизировать UDP через upstream, на новом UDP-потоке к нему; см. Собранные адреса. С маской
Обработка пакетовБиты метки очереди в метку соединения каждого соединения, в котором сам роутер отправляет пакет со всеми битами метки очереди, например собственные запросы b4. Если в пакете есть ещё и бит 0x2000000, вместо них пишется этот бит: так происходит с фейками и сегментами после разделения, которые b4 отправляет в соединение устройства. Для пакета, в метке которого есть бит 0x20000000, а в метке очереди его нет, например для ответа DNS, который b4 отправляет устройству, не пишется ничего. Только в режиме NFQUEUE; в nftables - не для пакетов, отправленных в lo, в iptables - только при наличии модуля connmark. С маской
Захват TUNБит 0x40000000 метки пакета. С маской
Дискавери во время поиска в режиме NFQUEUEМетку пакета целиком, если метка его соединения в точности равна метке потока, и метку соединения целиком, если в соединении идёт пакет, чья метка в точности равна метке потока; обе получают значение метки потока

Задать DSCP и собственные значения DSCP сетов пишут поле DSCP в заголовке IP, а не метку. Собственное значение сета не добавляет ни метки пакета, ни метки соединения, ни правила маршрутизации: его правила стоят в той же цепочке или таблице, что и у Задать DSCP, B4_DSCP или inet b4_dscp, которые b4 ставит, пока включено Задать DSCP или какой-нибудь сет записывает собственное значение, и выбирают значение только по адресу назначения.

Метка очереди​

Метка очереди - это настройка Метка пакета в разделе Настройки, Основные, Движок пакетов, queue.mark в конфигурационном файле и --mark в командной строке. По умолчанию 0x8000 (32768); веб-интерфейс принимает значение в десятичном виде, а 0 означает значение по умолчанию. Каждый фейк, сегмент после разделения и пакет, который b4 отправляет обратно, уходит из raw-сокетов с этой меткой, в режиме NFQUEUE - с добавленным битом 0x2000000, в режиме TUN - с добавленным битом 0x10000000. Пакеты устройству в режиме TUN несут только 0x20000000, а пакеты поиска Дискавери - метку отправленных пакетов Дискавери, с добавленным 0x20000000 у пакетов, которые он отправляет обратно к своим проверочным соединениям; в режиме TUN они несут метку отправленных пакетов с добавленным 0x10000000, а пакеты к проверочным соединениям - только 0x20000000. DNS-запросы, которые b4 отправляет за клиентов и для своих сетов, тоже несут метку очереди; запросы через резолвер самого роутера метки не несут. Каждое правило ниже проверяет все биты метки очереди сразу, поэтому биты, которые b4 добавляет в тот же пакет, её не скрывают. Правило, которое записывает метку соединения для пакетов самого роутера, ещё и требует, чтобы битов 0x2000000 и 0x20000000 не было, поэтому ни пакет, который b4 отправляет устройству, ни пакет, который он отправляет в соединение устройства, не помечает это соединение как собственное соединение b4. Во втором случае бит 0x2000000 записывает отдельное правило, см. соединения, в которые b4 отправляет пакеты. Если бит 0x2000000 или 0x20000000 есть в самой метке очереди, правила такие пакеты не различают.

Правилоnftablesiptables
Пакеты самого роутераoutput: meta mark & 0x22008000 == 0x8000 ct mark set ct mark | 0x8000, затем meta mark & 0x8000 == 0x8000 acceptmangle OUTPUT: -m mark --mark 0x8000/0x22008000 -j CONNMARK --save-mark --nfmask 0x8000 --ctmask 0x8000 (при наличии модуля connmark), затем -m mark --mark 0x8000/0x8000 -j ACCEPT
Цепочка очередиb4_chain: meta mark & 0x88f98000 == 0x8000 returnB4: -m mark --mark 0x8000/0x88f98000 -j RETURN
Пакеты на входе в роутерprerouting: ct mark & 0x8000 == 0x8000 ct direction reply socket wildcard 0 returnB4_PREROUTING: -m connmark --mark 0x8000/0x8000 -m conntrack --ctdir REPLY -m socket -j RETURN (при наличии модуля connmark)
DNS-запросы, раньше conntrackraw_prerouting, raw_output: meta mark & 0x88f98000 == 0x8000 returnB4_RAW: -m mark --mark 0x8000/0x88f98000 -j RETURN
Копии DNS-запросов-B4_DNSCOPY: -m mark --mark 0x8000/0x88f98000 -j RETURN
Сеты с маршрутизацией, кроме сетов блокировкиmeta mark & 0x8000 == 0x8000 return-m mark --mark 0x8000/0x8000 -j RETURN
Сеты с выходным интерфейсом, пакеты самого роутераmeta mark & 0x8000 == 0x8000 ip daddr @<set> meta mark set ...-m mark --mark 0x8000/0x8000 -m set --match-set <set> dst -j MARK --set-xmark <mark>/0x27fff
Перенаправление DNS через TCP, пока оно включеноmeta mark & 0x8000 == 0x8000 returnB4_DNSTCP: -m mark --mark 0x8000/0x8000 -j RETURN
Захват TUN-B4_TUN: -m mark --mark 0x8000/0x8000 -j RETURN, пишется через iptables при любом бэкенде; если в метке Дискавери нет какого-либо бита метки очереди, ещё -m mark --mark <метка потока>/0xffffffff -j RETURN или -m mark --mark <метка отправленных пакетов>/0xefffffff -j RETURN

В цепочках очереди b4_chain и B4 и в правилах, которые ставят в очередь или копируют DNS-запросы, метка считается меткой самого b4, если в ней есть все биты метки очереди и нет других битов вне 0x77067fff. Это биты, которые b4 сам может добавить к своим пакетам, среди них 0x4040000 на пакетах, которые он отправляет в TCP-соединения, открытые им самим. С меткой очереди по умолчанию это совпадение 0x8000/0x88f98000. Если в метке очереди есть бит 0x40000 или 0x4000000, совпадение сохраняет этот бит. Само соединение, которое открыл b4, 0x40000 или 0x4040000 без метки очереди, меткой самого b4 не считается и по-прежнему попадает в очередь. 0xffffaaa, которую пишет KeeneticOS, содержит все биты метки очереди по умолчанию и биты вне 0x77067fff. Эти правила не принимают её за метку самого b4.

Правило для пакетов на входе в роутер берёт пакет, только если он идёт в обратном направлении своего соединения и доходит до сокета на роутере, как ответы на собственные запросы и проверки b4. Ответы соединения устройства до такого сокета не доходят, какое бы значение ни записала в метку его соединения другая программа, и попадают в правила очереди. Прошивка ASUS при включённой AiProtection часто пишет значения со всеми битами метки очереди по умолчанию, а KeeneticOS - для устройств своего хотспота. -m socket в iptables и socket wildcard 0 в nftables не учитывают сокеты, привязанные ко всем адресам. Если в nftables нет socket wildcard, b4 использует socket transparent 0, который такие сокеты тоже учитывает. Без проверки сокета, xt_socket или nft_socket, правило берёт каждый ответ, в метке соединения которого есть все биты метки очереди, и b4 пишет предупреждение в журнал. Без проверки направления conntrack направление не проверяется.

Правило для сетов с выходным интерфейсом отправляет фейки и сегменты соединения, которое такой сет маршрутизирует, через тот же интерфейс, что и само соединение. Оно сверяет адрес назначения, а адрес источника - только у сета, ограниченного исходными устройствами, которые все заданы IP-адресами, поэтому так же поступает и с пакетами, которые b4 отправляет в соединения к адресам сета, которые сет не маршрутизирует, например с устройства вне его исходных интерфейсов. Адрес источника сверяется для каждого семейства адресов отдельно: в семействе, для которого такой сет не задаёт ни одного адреса устройства, правило сверяет только адрес назначения, поэтому при включённой Поддержке IPv6 сет, все устройства которого заданы IPv4-адресами, ставит свою метку каждому IPv6-пакету с меткой очереди к своим адресам.

Сохранение изменённой Метки пакета сразу переносит на новое значение правила обработки пакетов, правила сетов с маршрутизацией и перенаправление DNS через TCP и убирает правила со старым значением. Пока идёт поиск Дискавери, правила обработки пакетов и перенаправление ждут его окончания; если поиск закончится позже чем через пять минут после сохранения, в iptables они переходят на новое значение при следующей проверке монитора файрвола, а в nftables или при выключенном мониторе (system.tables.monitor_interval равен 0) - при следующем запуске b4. Пока они не перешли, b4 ставит в очередь собственные DNS-запросы, которые уже несут новое значение, как запросы устройства, поэтому DNS-редирект сета может перестать работать. Raw-сокеты, выпуск собственных пакетов b4 из очереди и в режиме TUN цепочка B4_TUN получают новое значение при следующем запуске b4, о котором просит веб-интерфейс. Обе метки Дискавери следуют за новым значением, если system.checker не задаёт для них значения, отличные от Метки пакета плюс 1 и плюс 2. Конфигурация, сохранённая из веб-интерфейса версии до 1.84.0, может держать их на значениях, которые за ней больше не следуют, например на старом значении плюс 1 и плюс 2, после сохранения, которое меняло Метку пакета, или сохранения при действующем --mark. Если при остановленном b4 удалить discovery_flow_mark и discovery_injected_mark из system.checker, они снова следуют за ней.

b4 не принимает значение, которое:

  • состоит только из битов 0x240000, меток его собственных соединений;
  • состоит только из битов 0x27fff и 0x1000000, битов меток сетов;
  • пересекается с 0x70000000 в режиме TUN;
  • содержит бит 0x20000000 в режиме NFQUEUE, пока включено NAT Masquerade или Задать DSCP либо у включённого сета включено Включить DSCP для сета;
  • содержит бит 0x2000000 в режиме NFQUEUE, где b4 добавляет этот бит к пакетам, отправленным в соединение. Конфигурация, которая уже работает в режиме NFQUEUE с таким значением, по-прежнему загружается и сохраняется, а b4 пишет предупреждение в журнал;
  • имеет под 0x27fff биты 0x24bab, метку Telegram через WebSocket;
  • совпадает с меткой потока или меткой отправленных пакетов Дискавери;
  • больше 0xffffffff, либо, пока в конфигурации не задана хотя бы одна из меток Дискавери, больше 0xfffffffd или даёт такой метке (значение плюс 1 для метки потока, плюс 2 для метки отправленных пакетов) значение, которое совпадает с 0x240000/0x8efd8000 или равно другой метке Дискавери.

Значение, в котором один из битов 0x240000 стоит вместе с другими битами, принимается, но пока оно действует, Повторное использование соединения WSSIZE ничего не делает; см. Повторное использование соединения WSSIZE.

Пакет, который другой сервис пометил всеми битами метки очереди, остальные правила принимают за отправленный самим b4. Прокси-сеты, Telegram через WebSocket и отказ QUIC его не трогают. Сет с выходным интерфейсом ставит ему свою метку, если его отправляет сам роутер на адрес из сета, а в метке нет битов под 0x27fff и бита 0x40000, если только сет не ограничен исходными устройствами, которые все заданы IP-адресами; сет блокировки отклоняет его по адресу назначения, как обычно. Захват TUN пропускает его, что бы ни лежало в остальной части метки; цепочки очереди обоих бэкендов, b4_chain и B4, пропускают его, только если его метка считается меткой самого b4, а на ядрах 3.14 и новее b4 отпускает его из очереди без изменений, если его отправил сокет на роутере. В режиме NFQUEUE, если его отправляет роутер, b4 ещё и копирует биты метки очереди в метку соединения (в nftables - не для пакетов, отправленных в lo, в iptables - только при наличии модуля connmark), и ответы, которые доходят до отправившего его сокета, тоже пропускаются. Если в метке есть ещё и бит 0x2000000, в метку соединения вместо них попадает этот бит, как у фейков b4, а если в ней есть бит 0x20000000, которого нет в метке очереди, не попадает ничего. Пакет, который всё же попадает в очередь (при обоих бэкендах через правила для пакетов на входе в роутер, которые не проверяют метку пакета), b4 отпускает без изменений, только если остальная часть его метки состоит только из битов 0x27fff, 0x2000000 и 0x4040000 либо его метка совпадает с 0x240000/0x8efd8000 или под 0x27fff стоит 0x24bab. У 51820 (0xca6c), которую wg-quick ставит на сокет WireGuard, когда пир маршрутизирует /0, бит 15 установлен, а остальная часть, 0x4a6c, лежит внутри 0x27fff.

Соединения, в которые b4 отправляет пакеты​

В режиме NFQUEUE фейки, сегменты после разделения, повторно отправленные SYN и другие пакеты, которые b4 отправляет в соединение, несут метку очереди с добавленным битом 0x2000000, по умолчанию 0x2008000. Собственные запросы и проверки b4 несут только метку очереди. Метка соединения различает эти два случая: биты метки очереди отмечают собственное соединение b4, а бит 0x2000000 - соединение, в которое b4 отправлял пакеты. С меткой очереди по умолчанию правила для этого бита такие:

Правилоnftablesiptables
Метка соединенияoutput: meta mark & 0x22008000 == 0x2008000 ct mark set ct mark | 0x2000000mangle OUTPUT: -m mark --mark 0x2008000/0x22008000 -j CONNMARK --save-mark --nfmask 0x2000000 --ctmask 0x2000000
Пакеты сервераprerouting: ct mark & 0x2008000 == 0x2000000 tcp flags & (syn|rst) == 0 returnB4_PREROUTING: -p tcp -m connmark --mark 0x2000000/0x2008000 --tcp-flags SYN,RST NONE -j RETURN

В iptables обоим нужен модуль connmark. Оба правила, которые записывают метку соединения, для собственных соединений b4 и для этого бита, стоят в output и в mangle OUTPUT выше правила, принимающего пакеты с меткой очереди.

Правило для пакетов сервера стоит сразу под правилом пропуска собственных соединений b4, выше всех правил очереди в этой цепочке. Оно срабатывает для соединения, в метке которого есть бит 0x2000000 и нет ни одного бита метки очереди. SYN-ACK и сбросы соединения по-прежнему доходят до b4, для Защиты от RST-инъекций и эскалации по поддельным сбросам, а остальные пакеты сервера в очередь не попадают. nftables 1.1.6 показывает проверку флагов в нём как tcp flags ! syn,rst.

Пока у включённого сета задан режим входящих или Собирать обнаруженные IP, этого правила нет. Пакеты сервера в каждом соединении, в которое b4 отправляет пакеты, тогда проходят через правила очереди, какому бы сету ни принадлежало соединение.

Прошивка, которая записывает метку соединения целиком, может убрать этот бит. Прошивка ASUS переписывает метку соединений устройств, например пока включены AiProtection или QoS, и бита не остаётся, если она делает это после b4. Тогда пакеты сервера проходят через правила очереди, как в любом другом соединении. При включённой AiProtection записанное прошивкой значение часто содержит все биты метки очереди. Ответы такого соединения не доходят до сокета на роутере, и правило пропуска собственных соединений b4 их не берёт. Без проверки сокета оно их берёт, и ни один ответ соединения до b4 не доходит, включая SYN-ACK и сбросы.

В TCP-соединение, которое открыл сам b4, он отправляет эти пакеты ещё и с добавленным 0x4040000, по умолчанию 0x6048000. Такое соединение b4 узнаёт по 0x4040000, пока применяется Сет для Telegram, и по биту 0x40000 на пакете, который отправляет сокет на роутере. На ядрах до 3.14, которые не сообщают владельца сокета пакета, действует только первое. Цепочки маршрутизации пропускают эти пакеты по биту 0x40000 так же, как пакеты самого соединения, поэтому фейки и сегменты после разделения уходят тем же маршрутом, что и соединение, даже если сет с выходным интерфейсом перечисляет адрес соединения в своих целях или b4 узнал этот адрес для доменов сета. Цепочки очереди по-прежнему принимают эту метку за метку самого b4; см. Метка очереди. b4 узнаёт такие пакеты по адресам и портам соединения, а следующий IP-фрагмент, в котором портов нет, только по адресам.

Если бит 0x2000000 есть в самой метке очереди, два вида соединений становятся неразличимы. Соединение, в которое b4 отправляет пакеты, тогда считается собственным соединением b4, и его ответы проходят мимо b4, включая SYN-ACK и сбросы. b4 не сохраняет такую метку, если сохранение впервые ставит её в режиме NFQUEUE; конфигурация, которая уже работает в режиме NFQUEUE с такой меткой, продолжает работать, а b4 пишет в лог предупреждение.

Сеты с выходным интерфейсом​

Сет с выходным интерфейсом получает метку и таблицу маршрутизации по имени интерфейса, egress IP, шлюзу и аварийному отключению. Сеты, у которых все четыре совпадают, делят и метку, и таблицу.

ЧтоЗначение
МеткаПо хешу от четырёх параметров, в диапазоне 0x100-0x7eff и никогда не равна битам под 0x27fff метки очереди или любой из меток Дискавери; если заняты все кандидаты по хешу - по порядку, начиная с 0x66
Таблица100-249, кроме таблиц, названных в rt_tables, таблиц, на которые ссылается правило другого сервиса, и таблиц с маршрутами, которые добавил не b4
Правилоip rule add fwmark <метка>/0x27fff lookup <таблица> priority <10000 + таблица>, для IPv4 и, при включённой Поддержке IPv6, для IPv6
Содержимое таблицыМаршрут по умолчанию через интерфейс - со шлюзом сета в семействе адресов шлюза, если b4 может его использовать; при аварийном отключении ещё blackhole default metric 4096
Заданные вручнуюrouting.fwmark и routing.table в конфигурационном файле или через API; применяются, только если заданы оба, метка лежит внутри 0x27fff, не равна 0x24bab, не содержит всех битов метки очереди и не равна битам под 0x27fff метки очереди или любой из меток Дискавери

Сет ставит метку на первый пакет каждого соединения к своим адресам и сохраняет её в метке соединения вместе с битом 0x40000000 - отметкой b4. Следующие пакеты соединения, идущие в направлении его первого пакета, получают метку обратно из метки соединения; ответные пакеты метку не получают. Цепочка сета для пакетов на входе в роутер, b4r_<set>_pre, по порядку:

  1. Пропускает пакеты с меткой очереди, с битом 0x40000 или с любым битом под 0x27fff.
  2. Пропускает пакеты, пришедшие с самого выходного интерфейса; у сета со шлюзом этот шаг сужен, как описано ниже.
  3. Восстанавливает метку из метки соединения на следующих пакетах отмеченных соединений, идущих в направлении первого пакета.
  4. Ставит метку новым соединениям к адресам сета и сохраняет её вместе с отметкой.

У сета с включённым Использовать собранные IP между шагами 3 и 4 есть ещё один пропуск; см. Собранные адреса.

Если у сета есть шлюз IPv4, который использует b4, а выходной интерфейс относится к типу Ethernet (Ethernet, мост, VLAN, Wi-Fi, TAP), шаг 2 сужен. Сначала сет пропускает пакеты на локальные, широковещательные и multicast-адреса, а также на IPv6 link-local адреса, с какого бы интерфейса они ни пришли. Затем он пропускает IPv4-пакеты, пришедшие с выходного интерфейса от пригодного IPv4-шлюза любого сета на этом интерфейсе, в том числе от своего, и все IPv6-пакеты, пришедшие с этого интерфейса. Остальные IPv4-пакеты с выходного интерфейса идут на шаги 3 и 4. Отвергнутый шлюз, IPv6-шлюз и интерфейс другого типа оставляют шаг 2 без изменений.

Сет, исключающий исходные устройства, пропускает их пакеты перед шагом 2, в цепочку сета, ограниченного исходными устройствами, попадают только пакеты этих устройств, а сет, ограниченный исходными интерфейсами, применяет шаги 3 и 4 только к пакетам, пришедшим с них. Фильтрация устройств в разделе Настройки, Основные, Устройства сужает цепочку так же. b4r_<set>_out делает то же для соединений самого роутера, если сет их берёт, и ставит метку сета собственным пакетам b4 с меткой очереди, адресованным в сет; сет, ограниченный исходными устройствами, которые все заданы IP-адресами, делает это только для пакетов с их адресов. При суженном шаге 2 b4r_<set>_out отбрасывает IPv4-сообщения ICMP redirect, которые уходят через выходной интерфейс, при любой их метке и независимо от того, берёт ли сет трафик самого роутера. Это его первое правило, а у сета с включённым Использовать собранные IP - первое правило под пропусками собранных адресов. При net.ipv4.fwmark_reflect, равном 1, ядро ставит на redirect метку пакета, который его вызвал. Маскарад выбирает пакеты по метке сета и выходному интерфейсу; если egress IP есть на интерфейсе, вместо маскарада работает SNAT на этот адрес, и он дополнительно требует, чтобы адрес назначения входил в сет.

На роутере, прошивка которого перезаписывает записанную b4 метку соединения, восстановление не срабатывает. b4 на iptables замечает это, пока работает монитор файрвола: если уже отмечено несколько соединений, восстановление не сработало ни разу и ни одно соединение с ответом в /proc/net/nf_conntrack не сохранило бит 0x40000000, и так две проверки подряд, b4 записывает 0 в .conntrack-mark рядом с конфигурационным файлом. С этого момента, а также при каждом следующем запуске с любым бэкендом, пока файл не удалён, сет ставит метку на каждый пакет к своим адресам, который идёт в направлении первого пакета соединения и у которого нет битов под 0x27fff, а не только на первый.

Пока сет использует выходной интерфейс, у которого действующее значение rp_filter равно 1, b4 записывает 2 в net.ipv4.conf.<интерфейс>.rp_filter и возвращает прежнее значение, когда с этого интерфейса уходит последний сет.

На тестовой машине два сета на wg0 получили:

10119:  from all fwmark 0x5aef/0x27fff lookup 119
10123: from all fwmark 0x69cf/0x27fff lookup 123

Прокси-сеты и Telegram через WebSocket​

Сеты в режимах маршрутизации Вышестоящий прокси SOCKS5 и Telegram через WebSocket, а также переключатель Telegram через WebSocket, перенаправляют соединения на прозрачные слушатели b4 через TPROXY. У каждого есть метка, и метка задаёт порт слушателя.

ЧтоЗначение
Метка0x20000-0x27dff, по хешу от ID сета, а если хеш равен битам под 0x27fff метки очереди или любой из меток Дискавери, - следующее свободное значение; routing.fwmark заменяет её, если лежит внутри 0x27fff, не равна 0x24bab и не равна ни одному из этих значений
Переключатель «Telegram через WebSocket»0x24bab, порт 13443
Порт слушателя13000 + метка % 50000
Правило, приоритет 3fwmark <метка>/0x27fff lookup 252, для IPv4 и, при включённой Поддержке IPv6, для IPv6; в таблице 252 local default dev lo, она общая для всех прокси-сетов. Если 252 занята другим сервисом, b4 берёт 251, 250, затем 300-399
Правило, приоритет 2fwmark <метка>/0x1027fff iif lo lookup main, IPv4
Пакеты самого роутера<метка> + 0x1000000, только TCP в исходном направлении; у сета, ограниченного исходными устройствами или исходными интерфейсами, отсутствует

b4r_<set>_pre пропускает пакеты с меткой очереди, с битом 0x40000 или с битами под 0x27fff, отличными от собственной метки сета, а также пакеты на локальные, широковещательные и multicast-адреса и на link-local-адреса IPv6. Из пакетов к адресам сета он затем ставит метку TCP-пакетам соединений, которые уже принадлежат прозрачному сокету, и принимает их, а остальные TCP-пакеты, и UDP при включённом Маршрутизировать UDP через upstream, передаёт TPROXY с меткой сета; сет, ограниченный исходными интерфейсами, передаёт только пакеты, пришедшие с них. У сета с включённым Использовать собранные IP правила собранных адресов стоят между этим принятием и TPROXY. Когда сет отказывает QUIC, то есть при выключенном Маршрутизировать UDP через upstream или включённом Блокировать QUIC (форсировать TCP), цепочка вместо этого принимает его UDP к порту 443, поэтому цепочка следующего сета его не забирает, а отклоняет его отказ QUIC; в iptables это принятие к тому же пропускает все следующие правила mangle PREROUTING. Исходные устройства ограничивают эту цепочку так же, как у сетов с выходным интерфейсом. iptables пишет метку под маской 0x1027fff, nftables - целиком.

У сета, который маршрутизирует UDP по портам, адресов назначения нет. После тех же пропусков его b4r_<set>_pre передаёт TPROXY с меткой сета UDP к портам сета, только в исходном направлении соединения, а у сета, ограниченного исходными интерфейсами, только пакеты, пришедшие с них. TCP эта цепочка не забирает, и отказа QUIC у такого сета нет. b4 ставит это правило только сету, ограниченному исходными интерфейсами или включающим списком исходных устройств.

Соединения самого роутера попадают в прокси-сет по петле, если сет не ограничен исходными устройствами или исходными интерфейсами. b4r_<set>_out ставит их TCP-пакетам исходного направления метку сета плюс бит 0x1000000, правило с приоритетом 3 отправляет их в lo, и они возвращаются через prerouting, где их забирает TPROXY. Когда новых соединений к адресам сета больше 200 в секунду (burst 400), b4r_<set>_out не ставит метку на первый пакет каждого следующего соединения, но последующие TCP-пакеты этого соединения в исходном направлении помечает как обычно. На собранные адреса это ограничение не действует там, где стоят правила собранных адресов: они ставят метку этим пакетам выше него.

Когда src_valid_mark равен 1 в net.ipv4.conf.all или на интерфейсе, через который пришло соединение, ядро проверяет источник каждого перенаправленного соединения в таблице, которую выбирает его метка, а таблица 252 отвечает на любой адрес самим роутером. Правило с приоритетом 2 отправляет эту проверку в main. Бит 0x1000000 не пускает под него пакеты самого роутера, и они по-прежнему идут петлёй через lo. net.ipv4.conf.all.src_valid_mark в 1 ставят XrayUI, когда в Xray есть исходящее подключение WireGuard, wg-quick и awg-quick, когда пир забирает маршрут IPv4 по умолчанию, и Tailscale в режиме netfilter по умолчанию.

Ещё b4 добавляет разрешение для каждой прокси-метки во входные цепочки. В iptables это -m mark --mark <метка>/<метка> -j ACCEPT в начале filter INPUT и mangle INPUT, также через ip6tables и через варианты -legacy, если они установлены. Mangle INPUT проходится раньше filter INPUT, и разрешение в нём не даёт правилу ниже в этой цепочке отбросить перенаправленное соединение; такое правило есть, например, у KeeneticOS: её цепочка отбрасывает TCP на порт 443 роутера. Если mangle INPUT начинается с перехода в B4_DNSCOPY, разрешение встаёт сразу под ним, и DNS-запрос, который перенаправляет прокси-сет, по-прежнему копируется. В nftables это meta mark & <метка> == <метка> accept в начале inet fw4 input, а без fw4 - в начале inet filter input, и нигде, если нет ни той, ни другой цепочки. При установке прокси-сета b4 записывает 0 в net.ipv4.conf.lo.rp_filter и 2 в net.ipv4.conf.all.rp_filter; прежние значения b4 не возвращает.

На тестовой машине переключатель «Telegram через WebSocket» и один прокси-сет получили следующее; второй прокси-сет и сет в режиме Telegram через WebSocket добавили такую же пару правил, каждый со своей меткой:

2:      from all fwmark 0x24bab/0x1027fff iif lo lookup main
2: from all fwmark 0x21546/0x1027fff iif lo lookup main
3: from all fwmark 0x24bab/0x27fff lookup 252
3: from all fwmark 0x21546/0x27fff lookup 252

Повторное использование соединения WSSIZE​

Сет с включённым Повторное использование соединения WSSIZE получает правила прокси-сета, но только для TCP на порт 443: метку и порт слушателя из того же диапазона, принятие соединений, которые его слушатель уже держит, TPROXY, метку на пакетах самого роутера с ограничением частоты, разрешение во входных цепочках и правила с приоритетами 2 и 3. Upstream, правил для UDP и отказа QUIC у него нет. В остальных разделах этой страницы такой сет считается прокси-сетом в этих пределах. b4 ставит эти правила, только пока повторное использование действует: движок TUN не работает и не сохранён в настройках, Пропустить настройку IPTables/NFTables выключено, а у метки очереди нет общих битов с 0x240000.

Сет считается перенаправленным, только пока его правило TPROXY встало для каждого включённого семейства адресов, которое разрешает его Фильтр версии IP. Без TPROXY или проверки сокета, xt_TPROXY и xt_socket в iptables, nft_tproxy и nft_socket в nftables, или если файрвол отвергает правило, b4 пишет для сета предупреждение. Пока сет перенаправлен, очередь отпускает без изменений TCP-пакет сета на порт 443 из семейства адресов, которое допускает его Фильтр версии IP, если в метке пакета нет бита 0x40000. В остальных случаях соединения сета, которые доходят до очереди, получают его собственную TCP-стратегию. В обоих случаях соединение, ClientHello которого очередь видела до изменения собранных адресов, сохраняет сет, который был у него тогда. Собственные соединения b4 к адресам сета с меткой 0x40000 получают TCP-стратегию сета, а с меткой 0x4040000 - стратегию сета, выбранного в Сет для Telegram. Соединения с меткой 0x240000, например соединение, которое после прогрева несёт TLS устройства, или соединение через домен за Cloudflare-прокси, пока Сет для Telegram не применяется, стратегию не получают.

СоединениеИсходный портМеткаОбработка пакетов
Соединение прогреваВыделенный из 63000-639990x40000TCP-стратегия сета
Соединение, которое после прогрева несёт TLS устройстваПрогретый порт0x240000Нет
Резервное соединениеЛюбой порт вне 63000-639990x40000TCP-стратегия сета

Собранные адреса​

Сет с маршрутизацией и включённым Использовать собранные IP добавляет к своим адресам назначения адреса, которые собирает Собирать обнаруженные IP. Правила ниже оставляют соединение, открытое до того, как его адрес попал в пул, на прежнем маршруте, а новые соединения отправляют через сет. Кроме того, b4 держит собранные адреса сета в отдельных защитных наборах:

БэкендЗащитные наборы
nftablesb4r_<set>_v4c и b4r_<set>_v6c в inet b4_route, типа ipv4_addr и ipv6_addr, без интервалов и таймаутов
iptablesipset b4r_<set>_v4c и b4r_<set>_v6c типа hash:net, записи в которых не истекают

b4 добавляет адрес, когда устанавливает изменение пула, в котором он есть, и удаляет, когда адрес уходит из пула или когда b4 откатывает неудачную установку; удаление, которое отвергло ядро, повторяется вместе с синхронизацией маршрутизации. Выключение Использовать собранные IP очищает защитные наборы, а удаление сета удаляет их. Перестройка правил сета, например после смены режима маршрутизации, снова их заполняет.

Для защитного набора IPv4 правила такие:

Правилоnftablesiptables
Тег, TCPip daddr @b4r_<set>_v4c meta l4proto tcp tcp flags & (syn|ack) == syn ct state new ct mark set ct mark & 0xfffd8000 or <метка>-m set --match-set b4r_<set>_v4c dst -p tcp --syn -m conntrack --ctstate NEW -j CONNMARK --set-xmark <метка>/0x27fff
Тег, UDPip daddr @b4r_<set>_v4c meta l4proto udp ct state new ct mark set ct mark & 0xfffd8000 or <метка>-m set --match-set b4r_<set>_v4c dst -p udp -m conntrack --ctstate NEW -j CONNMARK --set-xmark <метка>/0x27fff
Восстановлениеct direction original ct mark & 0x27fff == <метка> meta mark set <метка>-m conntrack --ctdir ORIGINAL -m connmark --mark <метка>/0x27fff -j MARK --set-xmark <метка>/0x1027fff
Пропускip daddr @b4r_<set>_v4c ct state != new ct mark & 0x27fff != <метка> counter return-m set --match-set b4r_<set>_v4c dst -m conntrack ! --ctstate NEW -m connmark ! --mark <метка>/0x27fff -j RETURN
Пропуск, сеты блокировкиip daddr @b4r_<set>_v4c ct state != new counter return-m set --match-set b4r_<set>_v4c dst -m conntrack ! --ctstate NEW -j RETURN, в таблице filter

Тег сохраняет все биты метки соединения вне 0x27fff. nft list показывает его так, как описано в разделе Как читать метку, с меткой сета, вложенной в константу: для 0x251b1 это ct mark set ct mark & 0xffffd1b1 | 0x000251b1. Для IPv6 используются ip6 daddr и b4r_<set>_v6c. Сет, ограниченный исходными интерфейсами, получает каждое правило по разу на интерфейс, с iifname или -i, а сет с включённым Повторное использование соединения WSSIZE - каждое правило только для TCP на порт 443.

Прокси-сеты и сеты в режиме Telegram через WebSocket получают все правила, кроме пропуска сетов блокировки:

  • Тег записывает метку сета в метку соединения нового TCP-соединения к собранному адресу. В b4r_<set>_pre он ставится и на новый UDP-поток, если включено Маршрутизировать UDP через upstream и сет маршрутизирует UDP по адресам, а не по портам. При включённом Блокировать QUIC (форсировать TCP) этот тег не ставится на UDP к порту 443, и его по-прежнему отклоняет отказ QUIC.
  • Восстановление возвращает метку сета каждому следующему пакету в исходном направлении, метка соединения которого её содержит, каким бы ни был адрес назначения. В b4r_<set>_out оно пишет метку сета плюс 0x1000000.
  • Пропуск выводит из цепочки до TPROXY соединение к собранному адресу, которое не новое и в метке соединения которого нет метки сета.

В b4r_<set>_pre эти правила стоят ниже принятия соединений, которые уже держит прозрачный сокет, и выше TPROXY, пропуска QUIC и UDP. Поэтому TCP-соединение, которое держит слушатель, остаётся перенаправленным при любой метке соединения; соединения самого роутера и UDP-потоки зависят от метки соединения. В Linux 3.16 перенаправленное соединение, метку которого другой сервис переписывает на его SYN, всё равно обрывается. b4r_<set>_out есть, когда сет берёт трафик самого роутера, и тега UDP в нём нет. Там правила стоят ниже пропусков по метке очереди, 0x40000 и любому биту под 0x27fff, а за ними идёт второй пропуск по любому биту под 0x27fff: он завершает цепочку для пакета, которому восстановление поставило метку, выше ограничения частоты и правила метки. В nftables восстановление стоит после тега последнего включённого семейства адресов, поэтому у сета с обоими семействами порядок такой: тег, пропуск, тег, восстановление, пропуск. В iptables у каждого семейства свои тег, восстановление и пропуск.

Сеты с выходным интерфейсом сохраняют свою метку в метке соединения, когда отмечают соединение, см. Сеты с выходным интерфейсом. Они получают только пропуск: в b4r_<set>_pre между восстановлением и меткой новых соединений и в самом начале b4r_<set>_out, поэтому пакеты, которые b4 отправляет в соединение, не маршрутизируемое сетом, тоже остаются на пути этого соединения. Пока в .conntrack-mark записан 0, правил собранных адресов у них нет, и сет ставит метку пакетам к собранным адресам так же, как пакетам к остальным своим адресам.

Сеты блокировки получают пропуск сетов блокировки над своими правилами блокировки. Они блокируют новые соединения к собранному адресу и пропускают остальные.

В iptables без проверки connmark или цели CONNMARK, xt_connmark и xt_CONNMARK, сеты, кроме сетов блокировки, не получают ни одного из этих правил, а b4 пишет по одному предупреждению на сет: соединение, открытое в момент, когда его адрес попал в пул, больше не остаётся на своём маршруте. Сеты блокировки сохраняют свой пропуск. Семейство адресов, для которого нет своей программы iptables, например ip6tables, не получает ни одного правила.

UDP-поток, открытый через аплинк до того, как его адрес попал в пул, продолжает идти через аплинк, пока не затихнет и conntrack его не удалит; новые потоки идут маршрутом сета. Проверка b4, сохраняет ли роутер метку соединения, .conntrack-mark, не считает эти теги отметками сета с выходным интерфейсом. Отдельного бита метки для собранных адресов нет.

Соединения самого b4​

С 0x40000 b4 открывает такие соединения: с upstream прокси-сета и прямые соединения, которые прокси-сет открывает вместо него, с Telegram, загрузку списков адресов и доменов для функций Telegram, пересылку MTProto-прокси на его домен для Fake SNI, соединения прогрева и резервные соединения при включённом Повторное использование соединения WSSIZE и запросы к Хабу сообщества, ipinfo и RIPEstat. Цепочки сетов с выходным интерфейсом, прокси-сетов и сетов Telegram через WebSocket пропускают пакеты с этим битом, поэтому ни один такой сет эти соединения не маршрутизирует и они не возвращаются петлёй на слушатели самого b4: они идут по остальным правилам маршрутизации роутера, обычно по основной таблице. Сеты блокировки их всё равно блокируют, а в режиме TUN они могут пройти через b4tun0.

Обработка пакетов 0x40000 не пропускает: сет, чьи цели совпадают с адресом назначения, применяет свою стратегию к собственным соединениям b4 так же, как к соединениям устройства. Сет с включённым Повторное использование соединения WSSIZE тоже применяет к ним свою TCP-стратегию и никогда не отпускает их, как описано в разделе Повторное использование соединения WSSIZE. Сет в режиме прокси или Telegram через WebSocket, а также сет с выходным интерфейсом-туннелем TUN, TAP или WireGuard, который поднят, пропускает их без изменений, а поскольку его цепочки маршрутизации их тоже пропускают, они уходят по основному маршруту вовсе без стратегии.

0x240000 добавляет бит 0x200000, и обработка пакетов пропускает пакет, метка которого совпадает с 0x240000/0x8efd8000: в точности 0x240000, не считая битов под 0x71027fff. Метка другого сервиса, у которой с ней общий только бит 0x200000, пакет из-под обработки не выводит. Пока Сет для Telegram не применяется, MTProto-прокси и Telegram через WebSocket ставят 0x240000 на соединения через домены за Cloudflare-прокси или свой домен WebSocket и на соединения с Cloudflare Worker. В режиме NFQUEUE и при захвате по портам в режиме TUN эти соединения не обрабатывает ни один сет, какие бы цели у него ни были. Их соединения с дата-центрами, с DC Relay и с edge-сервером Telegram для WebSocket несут 0x40000, и сет, чьи цели покрывают эти адреса, применяет к ним свою стратегию. Повторное использование соединения WSSIZE ставит 0x240000 на соединение, которое после прогрева несёт TLS устройства.

Сет, выбранный в поле Сет для Telegram на странице Telegram, обрабатывает все собственные соединения b4 с Telegram, в режиме NFQUEUE и в режиме TUN: соединения MTProto-прокси и Telegram через WebSocket по всем маршрутам, включая домены за Cloudflare-прокси, свой домен WebSocket и Cloudflare Worker, их проверку соединения и загрузку ими списков адресов и доменов. Другие сеты эти соединения не обрабатывают. Выбранный сет применяется, пока:

  • он существует и включён;
  • он не сет блокировки и не сет в режиме Telegram через WebSocket;
  • его маршрутизация настроена полностью;
  • Метка пакета не состоит только из битов 0x4040000, и ни в одной из меток Дискавери нет обоих битов 0x4040000.

Если сет не применяется или маршрут сета с маршрутизацией не установлен, эти соединения несут те же метки, что и без сета. Пересылка на домен fake SNI в любом случае сохраняет 0x40000.

У сета без маршрутизации эти соединения несут 0x4040000, то есть 0x40000 с битом 0x4000000. Пакету с обоими битами обработка пакетов даёт стратегию выбранного сета, какие бы цели у сета ни были, и другие сеты его не берут, кроме сета, на который выбранный сет эскалирует. На порту вне фильтра TCP-портов сета, если он задан, их не обрабатывает ни один сет. В режимах NFQUEUE и TUN пакеты, которые b4 отправляет в эти соединения, тоже несут 0x4040000 и уходят тем же маршрутом; см. соединения, в которые b4 отправляет пакеты. В режиме TUN b4 читает пакеты без метки и узнаёт эти соединения по локальному порту и адресу назначения, которые записал, когда их открывал; см. Режим TUN.

У сета с маршрутом через интерфейс эти соединения получают вместо этого 0x240000 с меткой маршрута сета под 0x27fff: обработка пакетов их пропускает, цепочки маршрутизации пропускают пакеты с 0x40000, а ip rule сета отправляет их в его таблицу. Это правило и таблицу b4 ставит для выбранного сета, даже если целей у него нет. У прокси-сета b4 передаёт их слушателю сета, и тот открывает их через upstream так же, как для сервера SOCKS5. Ни тот, ни другой не применяет к ним свою стратегию. См. Транспорт к Telegram.

Запросы и проверки с меткой очереди обработка пакетов пропускает, и прокси-сеты их не трогают. Прямой режим Детектора DPI использует метку очереди, чтобы измерять сеть без обработки b4. Сет с выходным интерфейсом ставит таким пакетам свою метку, когда адрес назначения входит в сет, так же как пакетам, которые отправляет b4, и они уходят через интерфейс этого сета; сет, ограниченный исходными устройствами, которые все заданы IP-адресами, делает это только для пакетов, которые b4 отправляет для этих устройств. Запросы через резолвер самого роутера метки не несут, и сервис, который исключает b4 по его меткам, всё равно видит их как обычный трафик роутера.

В режиме TUN, когда в b4tun0 указывает сам маршрут по умолчанию, пакеты самого роутера с меткой очереди, 0x40000, 0x240000 или 0x4040000 попадают в b4tun0, как и любые другие, если идут по маршруту по умолчанию. b4 читает их оттуда уже без метки, поэтому ни метка очереди, ни 0x240000 не выводят их из-под обработки пакетов; в режиме TUN они делают это только при захвате по портам, где такие пакеты пропускает B4_TUN. Соединения сета для Telegram без маршрутизации получают там этот сет так же, по локальному порту и адресу назначения, которые b4 для них записал; см. Режим TUN. Во время поиска Дискавери пакеты, чья метка в точности равна метке потока или метке отправленных пакетов, идут по своим правилам, см. Дискавери.

Режим TUN​

В режиме TUN (queue.mode: "tun") пакеты попадают в b4 через TUN-устройство - b4tun0, если queue.tun.device_name не задаёт другое, - а не через очередь. Эти правила пишутся через iptables и при бэкенде nftables и касаются только IPv4.

ЧтоПравило
ЗахватЦепочка B4_TUN, в неё переходят из mangle OUTPUT и PREROUTING (из PREROUTING через B4_TUN_GATE, когда фильтрация устройств выбирает устройства), а пока b4 захватывает только соединения самого роутера (см. Движок пакетов) - только из OUTPUT: ставит 0x40000000/0x40000000 на запросы и ответы DNS по UDP, на первые пакеты соединений к портам захвата (без xt_connbytes - на все их пакеты; TCP при наличии xt_conntrack - только в направлении первого пакета соединения), на каждый TCP-пакет к портам захвата на адреса сета для дублирования пакетов (при наличии xt_conntrack - только в направлении первого пакета соединения) и на TCP RST с портов захвата, при наличии xt_conntrack только в обратном направлении, пока у сета включена Защита от RST-инъекций или задан сет для эскалации
Правилоfwmark 0x40000000/0x40000000 lookup <таблица> с приоритетом 10 либо на единицу меньше самого низкого правила другого сервиса в диапазоне 5-9, но не ниже 4
Собственные адреса роутераfwmark 0x40000000/0x40000000 lookup local с приоритетом на единицу меньше правила захвата. Добавляется, только если ни одно правило не смотрит таблицу local для всех пакетов раньше правила захвата, как в контейнерах RouterOS (замечено на RouterOS 7.24), где это правило стоит на 200. Пакеты на собственные адреса роутера, например ответы на его собственные DNS-запросы, тогда доставляются на роутере и не попадают в b4tun0
Таблицаdefault dev b4tun0; выбирается от 96 вниз до 61, кроме 77 и занятых таблиц, либо рядом с queue.tun.route_table
Пакеты, которые b4 отправляет обратноМетка сокета - метка очереди плюс 0x10000000, а для пакетов соединения, открытого b4 для сета для Telegram, ещё и плюс 0x4040000, conntrack их не отслеживает (raw OUTPUT ... -j CT --notrack), если не включён system.tables.skip_setup и в ядре есть таблица raw и цель CT. Если system.tables.skip_setup выключен, а b4 не удалось поставить это правило, правило для пакетов устройству или SNAT в b4tun0, он захватывает только соединения самого роутера
Пакеты устройствуМетка сокета 0x20000000, conntrack их не отслеживает при тех же условиях

Если xt_connbytes недоступен, b4 сам считает пакеты каждого соединения и обрабатывает только первые, как это делал бы модуль. Пока b4 захватывает только соединения самого роутера, он сохраняет захват по портам, и B4_TUN ставит метку на все пакеты соединений к портам захвата; иначе b4 направляет в b4tun0 сам маршрут по умолчанию. Никакая настройка эти режимы не выбирает. Когда в b4tun0 направлен маршрут по умолчанию, собственные пакеты b4 уходят по правилам 88 и 89 (0x20000000) и 99 и 100 (0x10000000): первое правило каждой пары смотрит в main без маршрута по умолчанию, второе - в таблицу аплинка с его маршрутом по умолчанию, выбранную так же от 97 вниз до 62, либо в саму queue.tun.route_table. Правилам 88, 89 и 99 нужен ip, который принимает suppress_prefixlength; без него добавляется только правило 100.

При захвате по портам собственные соединения b4 попадают в b4tun0 по порту назначения, как любые соединения роутера, кроме тех, что B4_TUN пропускает. Соединения сета для Telegram без маршрутизации несут метку 0x4040000, которую B4_TUN не пропускает, поэтому они захватываются на портах захвата. b4 привязывает сокет каждого такого соединения до того, как подключиться, и записывает его локальный порт и адрес назначения, так что запись появляется раньше первого пакета. Движок TUN отдаёт соединения, которые узнаёт по этой записи, сету для Telegram, как движок NFQUEUE делает это по 0x4040000. B4_TUN захватывает эти соединения и тогда, когда их адрес назначения входит в сет с маршрутизацией, а пакеты, которые движок TUN отправляет в них, несут метку очереди с добавленными 0x10000000 и 0x4040000, по умолчанию 0x14048000. Бит 0x40000 этой метки не даёт цепочке b4r_<set>_out поставить им метку сета, поэтому они уходят тем же маршрутом, что и пакеты самого соединения. Пока сет для Telegram не применяется, соединения MTProto-прокси и Telegram через WebSocket с доменами за Cloudflare-прокси, своим доменом WebSocket или Cloudflare Worker несут 0x240000 и остаются вне захвата; см. соединения самого b4. Эти правила охватывают только IPv4, поэтому в режиме TUN b4 не обрабатывает ни одно своё IPv6-соединение с Telegram, включая соединения сета для Telegram.

Дискавери​

Проверочные соединения Дискавери несут метку потока, по умолчанию метку очереди плюс 1, пакеты, которые Дискавери отправляет сам, - метку отправленных пакетов, метку очереди плюс 2. Обе сравниваются как целые 32-битные значения. Задают их system.checker.discovery_flow_mark и system.checker.discovery_injected_mark в конфигурационном файле. С движком TUN поиск не начинается, пока в одной из меток есть бит из 0x70000000, меток, которые TUN оставляет за своими пакетами, а при загрузке или сохранении таких меток в режиме TUN b4 пишет предупреждение в журнал. Сет с маршрутизацией не трогает пакет, в метке которого есть бит под 0x27fff, и ни один сет не получает метку, равную битам под 0x27fff любой из меток Дискавери, поэтому при значениях по умолчанию ни один сет трафик Дискавери не маршрутизирует. Для меток Дискавери без бита под 0x27fff b4 пишет предупреждение в журнал. Правила ниже есть, пока идёт поиск, в том числе запущенный мониторингом или MCP-сервером. Какие из них получает поиск, зависит от движка, с которым b4 работает сейчас, а не от сохранённого queue.mode.

Режим NFQUEUE​

Цепочка в начале цепочек prerouting и output таблицы inet b4_mangle (b4_discovery, nftables) или mangle PREROUTING и OUTPUT (B4_DISCOVERY, iptables и ip6tables) направляет проверочные соединения в отдельную очередь с номером после основных (541 при настройках по умолчанию) и копирует метку потока между пакетом и соединением целиком. На время поиска цепочка очереди b4, b4_chain в nftables и B4 в iptables и ip6tables, тоже пропускает пакет, чья метка в точности равна метке потока или метке отправленных пакетов, поэтому обработка пакетов не трогает пакеты Дискавери на выходе с роутера. То же делают цепочки DNS-запросов, raw_prerouting и raw_output в nftables и B4_RAW в iptables и ip6tables, поэтому сеты b4 никогда не отвечают на DNS-запросы Дискавери. В B4_DNSCOPY такого правила нет: при значениях по умолчанию, 0x8001 и 0x8002, пакеты Дискавери пропускает её правило для метки очереди, а копию, чья метка в точности равна метке потока или метке отправленных пакетов, b4 не обрабатывает.

Пока какой-нибудь сет записывает собственное значение DSCP, запуск тоже записывает значение DSCP в свои пакеты: цепочка B4_DISCOVERY_DSCP в mangle (iptables и ip6tables), переход в которую стоит в POSTROUTING сразу после перехода в B4_DSCP, или b4_discovery_dscp в inet b4_mangle (nftables) с приоритетом postrouting 151, после inet b4_dscp. Она задаёт поле DSCP каждого пакета, чья метка в точности равна метке потока или метке отправленных пакетов, на интерфейсах, которые разрешает список Задать DSCP: в запуске для сета с собственным значением - это значение в тех версиях IP, в которых его несёт трафик сета, а иначе - значение Задать DSCP или 0, пока оно выключено. Она работает после правил сетов, поэтому её значение заменяет выбранное ими по адресу назначения. См. Правила DSCP.

Во время поиска соединение другого сервиса, чья метка в точности равна метке потока, тоже уходит в очередь Дискавери, а пакет с меткой, в точности равной метке потока или метке отправленных пакетов, пропускает остаток этих цепочек; в iptables это все правила ниже в mangle PREROUTING и OUTPUT, включая правила других сервисов.

Режим TUN​

В режиме TUN поиск не создаёт очередь и передаёт проверки через собственное TUN-устройство b4dsc0, или b4dsc1, если устройство самого движка TUN называется b4dsc0. Устройство существует, пока идёт поиск. Поиск не добавляет ни правил файрвола, ни NOTRACK, ни SNAT: проверки уходят с адресом источника из маршрута устройства. Эти правила касаются только IPv4.

ЭлементПравило
Таблицаdefault dev b4dsc0 src <адрес аплинка>; выбирается от 60 вниз до 32, пропуская занятые таблицы и таблицы движка TUN
Проверкиfwmark <метка потока>/0xffffffff lookup <таблица> с приоритетом 81
Собственные адреса роутераfwmark <метка потока>/0xffffffff lookup local с приоритетом 80, а при захвате через весь маршрут по умолчанию то же для метки отправленных пакетов; добавляется, только если ни одно правило не смотрит таблицу local для всех пакетов раньше приоритета 81, как в контейнерах RouterOS
Запросы обработки пакетов поиска, при захвате через весь маршрут по умолчаниюПакеты, чья метка в точности равна метке отправленных пакетов, например её DNS-запросы: fwmark <метка отправленных пакетов>/0xffffffff lookup main suppress_prefixlength 0 с приоритетом 82, затем таблица аплинка с приоритетом 83, поэтому в b4tun0 они не попадают. Приоритета 82 нет, если ip не принимает suppress_prefixlength
Пакеты, которые отправляет b4Обработанные проверки, фейки и сегменты после разделения: метка отправленных пакетов с добавленным 0x10000000, 0x10008002 по умолчанию. Пакеты к проверочным соединениям: только 0x20000000
NAT MasqueradeНе трогает устройство, как и b4tun0

При захвате по портам B4_TUN пропускает проверки и пакеты, которые b4 отправляет для поиска: при метках по умолчанию правилом метки очереди, ведь в них есть все её биты, а при метке потока или метке отправленных пакетов без какого-либо из этих битов - правилом для этой метки. При захвате через весь маршрут по умолчанию приоритет 81 стоит раньше таблицы main и её маршрута по умолчанию в b4tun0. Во время поиска пакет другого сервиса, чья метка в точности равна метке потока, тоже попадает в устройство. Каждые 5 секунд b4 проверяет устройство, его маршрут, эти правила и адрес аплинка, а при захвате по портам ещё и то, что B4_TUN по-прежнему пропускает метки поиска. Если чего-то нет, адрес аплинка изменился или изменение меток Дискавери во время поиска оставило его метки захвату, поиск останавливается. Устройство, таблица и правила, оставшиеся после аварийного завершения, удаляются при следующем запуске движка TUN, раньше его собственных правил.

Правила маршрутизации и таблицы​

ПриоритетПравилоТаблицаКогда есть
2fwmark <метка>/0x1027fff iif lomainПрокси-сеты, Telegram через WebSocket и Повторное использование соединения WSSIZE, IPv4
3fwmark <метка>/0x27fff252; 251, 250, 300-399Прокси-сеты, Telegram через WebSocket и Повторное использование соединения WSSIZE
3-9fwmark 0x40000000/0x40000000localРежим TUN с захватом по портам, IPv4, если ни одно правило не смотрит local для всех пакетов раньше правила захвата
4-10fwmark 0x40000000/0x40000000от 96 вниз до 61 либо рядом с queue.tun.route_tableРежим TUN с захватом по портам, IPv4
80fwmark <метка потока>/0xffffffff; при захвате через весь маршрут по умолчанию также fwmark <метка отправленных пакетов>/0xfffffffflocalПоиск Дискавери в режиме TUN, IPv4, если ни одно правило не смотрит local для всех пакетов раньше приоритета 81
81fwmark <метка потока>/0xffffffffот 60 вниз до 32Поиск Дискавери в режиме TUN, IPv4
82, 83fwmark <метка отправленных пакетов>/0xffffffffmain без маршрута по умолчанию, затем таблица аплинкаПоиск Дискавери в режиме TUN через весь маршрут по умолчанию, IPv4
88, 89fwmark 0x20000000/0x20000000main без маршрута по умолчанию, затем таблица аплинка: от 97 вниз до 62 либо queue.tun.route_tableРежим TUN через весь маршрут по умолчанию, IPv4
99, 100fwmark 0x10000000/0x10000000То жеРежим TUN через весь маршрут по умолчанию, IPv4
10000 + таблицаfwmark <метка>/0x27fff100-249 либо закреплённая routing.tableСеты с выходным интерфейсом

Ядро перебирает правила от меньшего номера приоритета к большему и останавливается на первом, которое дало маршрут. Правило, добавленное без приоритета, получает приоритет правила, следующего за local, минус один; на ядрах до 4.3 правило IPv6 вместо этого получает 16383. Добавленное после правила b4 с приоритетом 2, такое правило получает приоритет 1 и оказывается выше всех правил b4; в системе только со стандартными правилами оно получает 32765 и оказывается ниже них. XKeen, XrayUI и OpenClash вне режима TUN, MagiTrickle, mihomo в режиме iptables, руководства Xray, wg-quick и awg-quick добавляют свои правила именно так, поэтому их правила оказываются выше правил b4, если добавлены при работающем b4, в том числе при перезапуске этого сервиса. Добавленные до запуска b4, они оказываются ниже правил b4, только если других правил, кроме стандартных, тогда не было: рядом с правилом 5210 от Tailscale, например, такое правило получает 5209, то есть выше сетов b4 с выходным интерфейсом с приоритетами 10100-10249. На ядрах до 4.3 их правила IPv6 получают 16383 и в любом случае оказываются ниже правил b4.

Рядом с другими сервисами​

  • Метка с любым битом под 0x27fff, стоящая на пакете до цепочек маршрутизации b4, выводит пакет из-под сетов с выходным интерфейсом и прокси-сетов; только прокси-сет всё же забирает пакет, у которого биты под 0x27fff равны его собственной метке. Сеты блокировки и отказ QUIC у прокси-сета на эти биты не смотрят. Так вышестоящий прокси, работающий на роутере, остаётся вне сета, который совпадает с адресом его сервера, например при sockopt.mark равном 255 у Xray. Обработка пакетов к его соединениям при этом применяется, если метка не из следующего пункта, её биты под 0x27fff не равны 0x24bab или метке прокси-сета и она не состоит только из бита 0x1000000 и битов под 0x27fff.
  • Метку со всеми битами метки очереди сеты с маршрутизацией, захват TUN и перенаправление DNS через TCP принимают за метку самого b4; цепочкам очереди и правилам DNS-запросов ещё нужно, чтобы остальная её часть лежала внутри 0x77067fff, см. Метка очереди. Такой пакет, если он попадает в очередь, b4 отпускает без изменений, если остальная часть его метки состоит только из битов 0x27fff, 0x2000000 и 0x4040000 или, на ядрах 3.14 и новее, если его отправил сокет на роутере. Метку, которая совпадает с 0x240000/0x8efd8000, b4 принимает за признак пакета, который обработка пакетов не трогает; метку, у которой есть бит 0x200000, но нет такого совпадения, - нет.
  • В nftables цепочки маршрутизации b4 работают с приоритетом mangle - 1 (-151), раньше цепочек с приоритетом mangle (-150): b4 ставит метку первым, а если сервис после этого пишет метку целиком, метка b4 теряется и пакет идёт по правилу, которое совпадает с новым значением. Пакет самого роутера при этом меняет маршрут, только если метку переписала цепочка типа route (mangle OUTPUT в iptables как раз такая).
  • В iptables b4 вставляет свои переходы маршрутизации в начало mangle OUTPUT. В mangle PREROUTING он ставит их прямо над своим переходом B4_PREROUTING, который вставляет в начало при установке правил, или над стоящим раньше правилом другого сервиса, которое проверяет локальные сокеты; если нет ни того, ни другого, как в режиме TUN, он добавляет их в конец цепочки, а оказавшиеся ниже переходы возвращает на место. Правило, которое другой сервис вставит в начало позже, срабатывает первым, если только оно не проверяет локальные сокеты.
  • В iptables переход в отказ QUIC прокси-сета для транзитных пакетов (b4r_*_q) стоит в начале filter FORWARD, поэтому собственные правила файрвола роутера, например разрешение трафика из br0 в Asuswrt-Merlin, срабатывают после него. Переход в filter OUTPUT в его отказ для пакетов самого роутера (b4r_*_qo) и переходы сетов блокировки добавляются в конец цепочки, и правило выше них, принявшее пакет, до них его не допускает. В nftables эти цепочки вызываются из собственных цепочек b4 block_fwd и block_out типа filter с приоритетом -150, раньше приоритета filter (0).
  • В iptables в режиме NFQUEUE пакет, который b4 выпустил из очереди, пропускает все следующие правила той встроенной цепочки, из которой попал в очередь, поэтому правила другого сервиса ниже в этой цепочке его не видят. Это касается UDP-пакетов с порта 53, которые B4_PREROUTING и правила b4 ближе к началу mangle OUTPUT ставят в очередь, если на пакете нет метки очереди и он не отвечает на собственный запрос b4, и первых пакетов соединений на портах b4. UDP-пакеты на порт 53 b4 ставит в очередь из переходов, которые он добавляет в конец raw PREROUTING и OUTPUT: правила таблицы raw других сервисов срабатывают раньше, правило raw, которое другой сервис добавит после b4, для таких пакетов пропускается, а выпущенные из очереди пакеты проходят conntrack и все правила mangle, поэтому DNS, который руководства Xray забирают через TPROXY, до этого правила доходит. На KeeneticOS, а также на ядре до 4.18, где таблица raw не умеет ставить пакеты в очередь, b4 вместо этого копирует их из переходов в B4_DNSCOPY, которые вставляет в начало mangle INPUT, FORWARD и OUTPUT: NFLOG не завершает цепочку, и все следующие правила там, b4 и других сервисов, запрос видят. В mangle INPUT сразу под переходом стоит разрешение b4 для прокси-метки, и для запроса, который перенаправляет прокси-сет, оно завершает цепочку. Другая программа, занявшая группу NFLOG, которой пользуется b4, не даёт b4 копировать запросы. Если b4 не может ни ставить их в очередь из таблицы raw, ни копировать, он ставит их в очередь из B4_PREROUTING и mangle OUTPUT, и следующие правила там они тоже пропускают. Фейки и сегменты после разделения, которые отправляет b4, несут метку очереди и бит 0x2000000, и b4 принимает их близко к началу mangle OUTPUT, поэтому сервис, чьи правила стоят в этой цепочке ниже, например mwan3 или KVAS, их тоже не помечает: для соединения, которое такой сервис маршрутизирует по своей метке, они идут по основной маршрутизации роутера. В режиме TUN фейки и сегменты несут метку очереди и бит 0x10000000, такого правила ACCEPT в mangle OUTPUT нет, и правила этих сервисов их видят.
  • Когда b4 выбирает таблицу сам, он пропускает ещё не занятую им таблицу, если она названа в rt_tables, на неё ссылается другое правило или в ней есть маршруты, которые добавил не b4. Таблица, заданная в routing.table, используется как есть только вместе с routing.fwmark, а занятую queue.tun.route_table b4 отвергает. Некоторые сервисы используют фиксированные номера таблиц из диапазонов b4 без такой проверки: XKeen 111, podkop 105, руководства Xray 100 и 106, XrayUI 250 в режиме TUN. Если такой сервис запускается, когда b4 уже занял одну из них, XKeen очищает таблицу и добавляет туда свои маршруты, а XrayUI заменяет в ней маршрут b4; podkop и руководства Xray не могут добавить свой маршрут (File exists), пока в таблице стоит маршрут по умолчанию b4. XKeen, podkop и XrayUI при остановке очищают таблицу, а XrayUI ещё и удаляет все правила, которые ссылаются на 250, в том числе правило b4 с приоритетом 3, если b4 использует эту таблицу.

Значения других сервисов, взятые из их исходного кода:

СервисМеткиПравила и таблицы
Xray-core 26.3.27streamSettings.sockopt.mark: метка сокета исходящего подключения целиком, только если задана; своих правил файрвола нет. Руководства по прозрачному прокси пишут 1 целиком вместе с TPROXY и на TCP и UDP самого роутера в OUTPUT, а собственный трафик Xray исключают только по точной метке 2 или 255Руководства: fwmark 1 lookup 100, для IPv6 fwmark 1 lookup 106, без маски, без приоритета
XKeen 2.0.1 BetaTPROXY и MARK 0x111 целиком в режиме TProxy и для UDP в режиме Hybrid; режим Redirect и TCP в режиме Hybrid используют nat REDIRECT без метки. CONNMARK сохраняет и восстанавливает метку целиком. С проксированием трафика роутера (proxy_router) так же забирает TCP и UDP самого роутера, кроме метки ровно 255, метки политики Keenetic и бита 0x40000000fwmark 0x111 lookup 111, без приоритета
XrayUI 0.70.20x10000/0x10000 в DIVERT, TPROXY и метке соединенияfwmark 0x10000/0x10000 lookup 77, без приоритета; режим TUN: 49 from <LAN> to <LAN> lookup main и 51 from <LAN> lookup 250, без метки
sing-box 1.14.2route.default_mark, routing_mark: метки сокетов. TUN auto_redirect: 0x2023 и 0x2024 целиком в метке пакета и соединения у UDP и ICMP, а если доступна NFQUEUE 100, то и у TCP-соединений, которые он оценивает по первому пакету; 0x2025 на первом TCP-пакете, который он сбрасывает; каждый исходящий сокет 0x2024TUN auto_route: 9000-9010 в таблицу 2022; с auto_redirect вместо них 9000 fwmark 0x2024, 9001 fwmark 0x2023 lookup 2022, 9002 и 32768 not fwmark 0x2024 lookup 2022
mihomo 1.19.32routing-mark: метка сокета, 2158, если включён режим iptables, а она не задана. Режим iptables: 0x2d0 (TPROXY под 0x2d0, MARK целиком). TUN auto-redirect пишет 0x2023 и 0x2024 и ставит 0x2024 на каждый исходящий сокет только с route-address-set или route-exclude-address-setTUN: 9000-9010 в таблицу 2022, а когда auto-redirect пишет метки, ещё 32768 в таблицу 2022; режим iptables: fwmark 0x2d0 lookup 720, только IPv4, без приоритета
OpenClash 0.47.1560x162 целиком: у UDP в режиме TPROXY по умолчанию, где TCP идёт через nat REDIRECT без метки, и у TCP, UDP и ICMP echo в режиме TUNfwmark 0x162 lookup 354, без приоритета; режим TUN: 1888
nikki 1.26.10x80/0xff для TPROXY, 0x81/0xff для TUN1024 в таблицу 80, 1025 в таблицу 81
podkop 0.7.220x100000 целиком105: fwmark 0x100000/0x100000 lookup podkop (таблица 105 с именем в rt_tables), только IPv4
zapret 72.13 и zapret2 1.0.5.2Сгенерированные пакеты: метка пакета из очереди плюс 0x40000000. При FILTER_TTL_EXPIRED_ICMP=1 (по умолчанию) 0x40000000 добавляется к метке соединения: в режиме nftables POSTNAT (тоже по умолчанию) - каждого соединения, пакеты которого уходят в nfqws, иначе - соединений, в которые nfqws отправил сгенерированные пакеты. В режиме POSTNAT к пакетам, которые уходят в очередь после NAT, добавляется 0x20000000. NFQUEUE 200 и 300Нет
MagiTrickle 0.8.20x4d616769 и дальше, по одной на группу, целиком, в метке пакета и соединенияfwmark <метка> lookup <метка>, без приоритета
KVAS 1.1.90xd1000 целиком, в метке пакета и соединения1778: fwmark 0xd1000/0xd1000 lookup 1001
Tailscale 1.102.5Собственные сокеты 0x80000; транзитные пакеты из tailscale0 получают 0x40000/0xff0000 и проходят маскарад; биты 0xff0000 новых соединений самого роутера сохраняются в метке соединения и восстанавливаются на следующих входящих пакетах, в iptables с маской, в nftables (по умолчанию в пакете OpenWrt) целиком5210, 5230, 5250 по 0x80000/0xff0000; 5270 в таблицу 52; на OpenWrt с mwan3 вместо них 1310-1370
wg-quick 1.0.20260223, awg-quick 3.1.20260812С пиром /0 и Table, не заданным или равным auto: 51820 (0xca6c) на сокете WireGuard, либо его FwMark, либо следующее число, если в таблице 51820 есть маршруты; метка соединения целиком копируется в метку пакета каждого UDP-пакета этого семейства адресов в preroutingnot fwmark 51820 lookup 51820, lookup main suppress_prefixlength 0, без приоритета
mwan3 2.12.2Интерфейс N как N << 8 под 0x3f00; метка соединения сохраняется и восстанавливается под той же маской1001-1060 по входному интерфейсу, 2001-2060 по метке, 3001-3060 unreachable по метке, 2061 и 2062 blackhole и unreachable
pbr 1.2.20x10000, 0x20000 и далее по интерфейсу под 0xff000030000, 29999 и ниже: fwmark <метка>/0xff0000

Где они встречаются с b4:

  • Xray, XKeen. 255 лежит под 0x27fff, поэтому сеты с маршрутизацией не трогают исходящие соединения Xray, а обработка пакетов к ним применяется. Отказ QUIC у прокси-сета с выключенным Маршрутизировать UDP через upstream или включённым Блокировать QUIC (форсировать TCP), который проверяет только метку очереди и 0x40000, и сеты блокировки, которые метку не проверяют, отклоняют пакеты Xray к своим адресам тоже. XKeen пишет метки целиком и заменяет биты b4 на соединениях, которые забирает. С проксированием трафика роутера он забирает и собственные соединения b4: ни одно из его исключений не покрывает 0x40000. Вариант руководств Xray для nftables начинается с flush ruleset, который удаляет и таблицы nftables у b4, а служба iptables tproxyrules.service из руководства для IPv4 и IPv6 при остановке выполняет iptables -t mangle -F и ip6tables -t mangle -F, которые удаляют и правила b4 в mangle.
  • XrayUI. Его бит 16 лежит вне битов b4. Правило DIVERT и порядок двух сервисов в mangle PREROUTING описаны в b4 вместе с Xray или XrayUI.
  • sing-box, mihomo. Их метки по умолчанию лежат под 0x27fff; только outbound bridge у sing-box, когда переходит на iptables, использует бит 0x40000000 - бит захвата TUN у b4. auto_redirect (в mihomo только с route-address-set или route-exclude-address-set) пишет метки целиком после цепочек маршрутизации b4: у UDP и ICMP, а в sing-box ещё и у TCP-соединений, которые он оценивает через NFQUEUE. При auto_route правило в диапазоне 9000-9010 отправляет транзитный трафик в таблицу 2022 раньше сетов b4 с выходным интерфейсом, у которых приоритет от 10000. Соединения самого роутера, в том числе соединения b4, они тоже забирают: auto_redirect пропускает только метку ровно 0x2024.
  • nikki. Его маска 0xff лежит внутри меток сетов b4 с выходным интерфейсом. Сет, в метке которого младший байт равен 0x81 или, если nikki использует режим TPROXY, 0x80, первым совпадает с правилом nikki, потому что у того приоритеты меньше. Сам nikki меняет только биты 0-7, но они лежат под 0x27fff, поэтому на адресах, которые покрывают оба, побеждает маршрут nikki, в каком бы порядке они ни срабатывали. Опция nikki proxy.bypass_fwmark принимает пары метка/маска; значения 0x40000/0x40000 и 0x8000/0x8000 в ней выводят помеченные соединения и пакеты b4 из-под проксирования nikki, но не из-под перехвата DNS роутера, который срабатывает раньше этой проверки, и не соединения b4 без метки.
  • mwan3. Его маска 0x3f00 лежит внутри меток сетов b4 с выходным интерфейсом. Сет, в метке которого в битах 8-13 стоит номер активного интерфейса mwan3, первым совпадает с его правилом из 2001-2060; с числом 61 или 62 там он, пока работает mwan3, попадает под его правило blackhole или unreachable, 2061 или 2062. Метке сета без битов в 0x3f00 политика mwan3 добавляет номер интерфейса, и после этого с ней совпадает правило mwan3, а не b4. С iptables legacy в режиме NFQUEUE соединение, которое mwan3 отправляет не через интерфейс маршрута основной таблицы, стратегии не получает, см. Пакеты, уходящие другим маршрутом.
  • zapret, zapret2. Биты 30 и 29 - это бит захвата TUN и бит пакетов устройству у b4, а бит 30 метки соединения - отметка b4. По метке ни один из сервисов не пропускает пакеты, которые сгенерировал другой. Но в nftables в режиме POSTNAT, который у zapret включён по умолчанию, zapret выводит свои сгенерированные пакеты из-под conntrack, и b4 их в очередь не ставит: его правила очереди считают пакеты соединения или проверяют его направление. Только на ядре без match направления conntrack b4 по-прежнему ставит их в очередь к адресам сета для дублирования пакетов. В nftables пакеты, которые выбирают оба, ставят в очередь оба, b4 первым (приоритет -150 против 99 или 101 у zapret). Когда включено Задать DSCP или собственное значение DSCP сета, b4 не записывает значение в пакет с битом 0x20000000, поэтому в режиме POSTNAT пакеты, которые zapret ставит в очередь после NAT, и пакеты, которые он из них генерирует, уходят без значения DSCP от b4. В iptables такие пакеты в mangle POSTROUTING забирает то правило NFQUEUE, которое стоит выше, и другое их не видит. При фильтрации устройств b4 ставит пакеты самого роутера в очередь раньше, в mangle OUTPUT, а транзитные пакеты - в mangle FORWARD, так что zapret может обработать их после b4. zapret отбрасывает ICMP time-exceeded для соединений, в метке соединения которых есть бит 0x40000000, а это каждое соединение, отмеченное сетом b4 с выходным интерфейсом. В режиме TUN с захватом по портам правило b4 fwmark 0x40000000/0x40000000 совпадает и со сгенерированными пакетами zapret и отправляет их в b4tun0.
  • MagiTrickle. В его метках, 0x4d616769 и следующих, есть бит 0x200000, но с 0x240000/0x8efd8000 они не совпадают, поэтому в режиме NFQUEUE обработка пакетов видит его соединения. Соединение, которое он отправляет в интерфейс WireGuard, AmneziaWG, TUN или TAP, стратегии не получает. В iptables legacy её не получает и соединение, которое он отправляет не тем маршрутом, каким ушли бы пакеты b4 на тот же адрес, см. Пакеты, уходящие другим маршрутом. В nftables такое соединение стратегию получает, а пакеты, которые b4 для него отправляет, несут метку очереди вместо метки MagiTrickle и его маршрутом не идут. Есть в метках MagiTrickle и бит 0x40000000: в режиме TUN с захватом по портам правило b4 fwmark 0x40000000/0x40000000, только для IPv4, совпадает с каждым пакетом, который пометил MagiTrickle, и когда в ip rule оно стоит выше правила MagiTrickle fwmark <метка>, такие пакеты уходят в b4tun0, b4 их обрабатывает, и они выходят по маршрутизации самого роутера, а не по таблице MagiTrickle.
  • KeeneticOS. _NDM_HOTSPOT_PREROUTING_MANGL в mangle PREROUTING записывает целую метку, например 0xffffaaa, в пакеты устройств, которые перечислены в нём по MAC-адресу. В таком значении есть все биты метки очереди по умолчанию, бит 0x40000, биты под 0x27fff и биты вне 0x77067fff. Цепочки очереди и правила DNS-запросов не принимают её за метку самого b4, поэтому соединения и DNS-запросы этих устройств доходят до обработки пакетов. KeeneticOS сохраняет эту метку и в метку соединения. Ответы этих соединений не доходят до сокета на роутере, и B4_PREROUTING тоже передаёт их в обработку пакетов. Без проверки сокета он их пропускает, включая DNS-ответы резолверов вне роутера; см. Метка очереди. Сеты с выходным интерфейсом эти устройства не маршрутизируют: целая метка занимает место метки маршрута b4, и маршрут выбирает собственное правило KeeneticOS fwmark 0xffffaaa lookup 4096. Правило сета с выходным интерфейсом всё равно отправляет пакеты b4 к адресам сета через интерфейс сета. Поэтому соединение этих устройств не получает стратегии, пока включённый сет с выходным интерфейсом отправляет адреса не через тот интерфейс, которым уходит соединение. Сет с включённым Только по домену без IP-адресов и сет без адресов назначения ничего не маршрутизируют и не учитываются. Прокси-сет забирает их соединения, когда цепочки маршрутизации b4 стоят в mangle PREROUTING выше _NDM_HOTSPOT_PREROUTING_MANGL, куда их ставит b4. Тогда такие соединения уходят через прокси b4, а не по политике KeeneticOS для устройства. Если KeeneticOS по этой метке отправляет соединение не тем маршрутом, каким ушли бы пакеты b4, соединение стратегии не получает, см. Пакеты, уходящие другим маршрутом.
  • zapret, MagiTrickle и проверка метки соединения у b4. Оба ставят бит 0x40000000 в метку соединения. b4 считает любое соединение с ответом, у которого есть этот бит, доказательством того, что роутер сохраняет метку соединения, поэтому они могут скрыть прошивку, которая перезаписывает отметку b4.
  • KVAS. 0xd1000 содержит 0x40000: пакет, который уже несёт эту метку, когда срабатывают цепочки b4, выглядит для b4 как одно из его собственных соединений. С включённым ускорением KVAS помечает и соединения самого роутера к адресам из своего списка unblock, в том числе соединения b4, и его правило 1778 направляет их в таблицу 1001.
  • Tailscale. 0x40000 - метка Tailscale для пакетов из tailscale0. Его правило маскарада, включённое по умолчанию, совпадает с любым пакетом, у которого под 0xff0000 стоит это значение, поэтому собственные соединения b4 с меткой 0x40000 проходят маскарад на адрес исходящего интерфейса; соединения с 0x240000 - нет. Правило 5270 (1370 на OpenWrt с mwan3) стоит раньше сетов b4 с выходным интерфейсом, поэтому адрес, для которого в таблице 52 есть маршрут, уходит через Tailscale, даже если сет b4 поставил на пакет свою метку.
  • wg-quick, awg-quick. С меткой очереди по умолчанию в 0xca6c есть все её биты, поэтому b4 принимает собственные пакеты WireGuard за свои. Их правило в prerouting заменяет метку каждого UDP-пакета меткой соединения. Когда и они, и b4 работают через nftables, оно срабатывает после цепочек маршрутизации b4: пакеты сета с выходным интерфейсом по-прежнему совпадают с его правилом, потому что b4 сохранил метку сета в метке соединения, а UDP, который перенаправляет прокси-сет, теряет метку сета, и правило с приоритетом 3 больше не отправляет его слушателю b4. Поднятые после b4, их два правила оказываются выше всех правил b4, для IPv6 только на ядре 4.3 или новее.
  • pbr. 0x40000 - метка его четвёртого интерфейса, поэтому при четырёх интерфейсах и больше правило pbr направляет собственные соединения b4 с меткой 0x40000 в таблицу этого интерфейса. Политика pbr, которая совпала с пакетом, помеченным сетом b4 с выходным интерфейсом, добавляет свой байт интерфейса; если в этом байте есть бит 17, правило b4 больше не совпадает, и пакет маршрутизирует pbr.
  • OpenClash, podkop. Их запись заменяет метку b4: метки целиком, а у OpenClash в режиме по умолчанию для TCP ещё nat REDIRECT, поэтому на адресах, которые покрывают оба, побеждает их маршрут. OpenClash забирает соединения самого роутера, пока включено проксирование роутера (по умолчанию), а podkop всегда забирает те из них, что идут к адресам из его списков. Собственные соединения b4 ни один из них не исключает.

Значения в таблице взяты из указанных в ней версий и меняются от версии к версии. Что установлено на самом деле, показывают ip rule и список правил файрвола на роутере.

Как посмотреть метки на роутере​

# правила b4 с их метками
nft list table inet b4_mangle
nft list table inet b4_route
nft list table inet b4_dscp
iptables -t mangle -S
iptables -t nat -S
iptables -t raw -S

# ipset собственных значений DSCP сетов в iptables и число записей в одном из них
ipset list -n | grep '^b4d_'
ipset save b4d_u_v4 | grep -c '^add'

# защитный набор собранных адресов сета
nft list set inet b4_route b4r_<set>_v4c
ipset list b4r_<set>_v4c

# правила маршрутизации всех сервисов и таблицы b4
ip rule
ip -6 rule
ip route show table 252

# метки сокетов собственных соединений b4
ss -tanpe | grep b4

# метки соединений в десятичном виде, если ядро их показывает
grep -o 'mark=[0-9]*' /proc/net/nf_conntrack | sort | uniq -c

Адреса собственных значений DSCP сетов хранятся в таких объектах:

iptables, ipsetnftables, в inet b4_dscpЧто хранит
b4d_u_v4, b4d_u_v6-Все адреса из целей IP, GeoIP и ASN сетов; пакет, адрес назначения которого не входит ни сюда, ни в узнанные адреса, покидает B4_DSCP, не доходя до правил сетов
b4d_s<value>_v4, b4d_s<value>_v6Карты s4_<n> и s6_<n> и цепочка v<value> для каждого значенияТе же адреса, сгруппированные по значению, которое они получают
b4d_ul_v4, b4d_ul_v6-Все адреса, которые b4 узнал для доменов сетов
b4d_l_<set>_v4, b4d_l_<set>_v6Наборы l_<set>_4 и l_<set>_6Адреса, которые b4 узнал для одного сета, у каждого свой срок жизни

«Информация о системе» в веб-интерфейсе показывает правила файрвола b4 и вывод ip rule. Пока у включённого сета включено собственное значение DSCP, группа Per-set DSCP в ней показывает для каждого такого сета значение и причину отказа, а если отказа нет, применено ли значение, сколько у сета статических записей и сколько узнанных адресов b4 записал для него из каждого источника.