Zapret + Mikrotik

[zhenyakoltsov]

Есть ли возможность запустить Zapret на роутерах Mikrotik?

[Kolobok12309]

Попробуйте посмотреть #214
У меня запущено в связке zapret (socks) + hev-socks5-tunnel, так же работает zapret (socks) + tun2socks
Статья откуда тоже можно почерпнуть инфу

[neduus]

Сделал образ для контейнера на базе alpine (всего 25Мб) с tpws (прозрачный режим), вроде все (в рамках возможностей стратегий tpws) работает на rb3011
Если интересно могу подсказать
Но мне больше нравится схема с одноплатником в сети, в контейнере микротика пока не получится использовать nfqws, может в будущем они снизят безопасность для контейнеров

[lapa-lun]

Сделал образ для контейнера на базе alpine (всего 25Мб) с tpws (прозрачный режим), вроде все (в рамках возможностей стратегий tpws) работает на rb3011 Если интересно могу подсказать Но мне больше нравится схема с одноплатником в сети, в контейнере микротика пока не получится использовать nfqws, может в будущем они снизят безопасность для контейнеров

Поделитесь опытом. Спасибо

[neduus]

Каким именно, схема с контейнером (tpws) или одноплатником (nfqws)? И я могу только подсказать как это реализовать на микротике, опыт работы с RouterOS должен присутствовать.

[mikrobuzzz]

Каким именно, схема с контейнером (tpws) или одноплатником (nfqws)? И я могу только подсказать как это реализовать на микротике, опыт работы с RouterOS должен присутствовать.

Схема с контейнером интересна. Опыт с RouterOS имеется.

[lapa-lun]

Реализацию под Микротик, опыт есть . Схема с контейнером (tpws)   Спасибо.  

Суббота, 12 октября 2024, 0:13 +03:00 от neduus ***@***.***>:     Каким именно, схема с контейнером (tpws) или одноплатником (nfqws)? И я могу только подсказать как это реализовать на микротике, опыт работы с RouterOS должен присутствовать. — Reply to this email directly, view it on GitHub , or unsubscribe . You are receiving this because you commented. Message ID: <bol-van/zapret/issues/372/2408127411 @ github . com>

    С уважением, Андрей Лунев ***@***.***  

[neduus]

Еще один вопрос
Вы образ контейнера сами будете собирать (скину Dockerfile) или собрать готовый?
И еще уточнение (на всякий случай), этот вариант подойдет только для микротиков на базе архитектуры arm с достаточным количеством памяти. На любом не получится. На любом, это только схема с одноплатником в сети и т.п.

[lapa-lun]

Если можно готовый. И можно связать по почте в личку ?   

Понедельник, 14 октября 2024, 2:31 +03:00 от neduus ***@***.***>:     Еще один вопрос вы образ сами будете собирать (скину Dockerfile) или собрать готовый? — Reply to this email directly, view it on GitHub , or unsubscribe . You are receiving this because you commented. Message ID: <bol-van/zapret/issues/372/2409333322 @ github . com>

    С уважением, Андрей Лунев ***@***.***  

[neduus]

Сейчас подзагружен немного, в ближайшее время постараюсь выложить образ и настройки для routeros, но учитывая последние изменения в работе с ютубом, возможностей tpws больше не достаточно, для восстановления нормальной работоспособности ютуба. Теперь только nfqws, с которым контейнер микротика не может работать из-за ограничений. Поэтому с микротиком единственной рабочей схемой остается только использование одноплатника в сети (именно внутри домашней сети).
Настройки самого микротика при этом те же самые, отличия только в том куда перенаправляется требуемый трафик, на контейнер или на одноплатник/(у кого-то может любой внутренний постоянно работающий ресурс, который может использоваться для этих целей).
Зачем связь по почте? Я распишу все понятно. В крайнем случае придумаем что-нибудь.
Обслуживанием по теме автора я не занимаюсь, а связкой микротика и запрета поделюсь.

[lapa-lun]

Спасибо. Буду ждать.  

Вторник, 15 октября 2024, 2:35 +03:00 от neduus ***@***.***>:     Сейчас подзагружен немного, в ближайшее время постараюсь выложить образ и настройки для routeros, но учитывая последние изменения в работе с ютубом, возможностей tpws больше не достаточно, для восстановления нормальной работоспособности ютуба. Теперь только nfqws, с которым контейнер микротика не может работать из-за ограничений. Поэтому с микротиком единственной рабочей схемой остается только использование одноплатника в сети (именно внутри домашней сети). Настройки самого микротика при этом те же самые, отличия только в том куда перенаправляется требуемый трафик, на контейнер или на одноплатник/(у кого-то может любой внутренний постоянно работающий ресурс, который может использоваться для этих целей). Зачем связь по почте? Я распишу все понятно. В крайнем случае придумаем что-нибудь. Обслуживанием по теме автора я не занимаюсь, а связкой микротика и запрета поделюсь. — Reply to this email directly, view it on GitHub , or unsubscribe . You are receiving this because you commented. Message ID: <bol-van/zapret/issues/372/2412521008 @ github . com>

    С уважением, Андрей Лунев ***@***.***  

[StatCombo]

Каким именно, схема с контейнером (tpws) или одноплатником (nfqws)? И я могу только подсказать как это реализовать на микротике, опыт работы с RouterOS должен присутствовать.

Добрый... а можно и мне подсказать как городить микрот (2011)+одноплат...? заранее спасибо

[neduus]

Извиняюсь, немного пропал.
Потихоньку начну.
Общая схема такая.

1. Контейнер или одноплатник (и т.п.) - устройство лечения ютуба (УЛЮ)), размещён в домашней сети, может находиться в отдельном влане или в подсети , но отличной от той в которой будут устройства для просмотра ютуба.
2. На УЛЮ работает zapret (tpws || nfqws).
3. Микротик перенаправляет трафик необходимых ресурсов на УЛЮ.
4. На УЛЮ nfqws+nat или tpws.
5. Микротик + zapret совместно будут работать по схеме ipset+hostlists.

Условно (на примере бриджей) домашня сеть в бридже LAN с net 192.168.50.0/24, УЛЮ размещаем в бридже ZAP c net 192.168.51.0/24.
Начну с формирования списков адресов.
Допустим есть hostlist с таким содержанием:

youtube.com
youtu.be
ytimg.com
googlevideo.com
yt3.ggpht.com

нам нужно ip адреса всех этих ресурсов отправить на УЛЮ
формируем address lists (консоль, кому удобно через winbox)

/ip dns static

;; тут весь домен поэтому используем match-subdomain, так же не учитывается перехват dns, по мне этой ерундой обычно страдают небольшие операторы в редких случаях, если у вас такое случилось, то можно на УЛЮ развернуть DoT и использовать его

add address-list=DPI-youtube forward-to=1.1.1.1 match-subdomain=yes name=youtube.com type=FWD
add address-list=DPI-youtube forward-to=1.1.1.1 match-subdomain=yes name=youtu.be type=FWD
add address-list=DPI-youtube forward-to=1.1.1.1 match-subdomain=yes name=ytimg.com type=FWD
add address-list=DPI-youtube forward-to=1.1.1.1 match-subdomain=yes name=googlevideo.com type=FWD

;; далее хост поэтому без match-subdomain

add address-list=DPI-youtube forward-to=1.1.1.1 name=yt3.ggpht.com type=FWD

на выходе у вас сформируется address list - "DPI-youtube", который будет накапливать необходимые ip адреса

увеличим срок их жизни (устанавливайте в зависимости от доступного объема памяти), возможна ситуация когда маршрутизация сработает раньше попадания адреса в список (касается новых адресов), тогда возможна небольшая задержка при открытии, поэтому от этого срока зависит частота подобных ситуаций, мне суток хватает

/ip dns set address-list-extra-time=1d

проделав это вы можете увидеть заполнение данного списка адресов

[StatCombo]

Огромное спасибо! Начну городить....

[mikrobuzzz]

У меня в домашней сети отдельный неттоп, там рабочие ВПНы всякие подняты. Там же поднял контейнер с запретом по мануалу.
Контейнер выставил как шлюз по умолчанию, гоняя через него весь трафик. Я не заморачивался предварительной фильтрацией по доменам, это делает уже сам запрет.

[neduus]

Есть еще такой нюанс
Некоторые устройства могут обходить dns микротика и лезть за адресами по DoH или DoT, в браузере это можно отключить, а iphone, android обычно используют DoT
Нужно запретить им это делать закрыв выход наружу на порт TCP 853, после чего они попытаются уже обращаться устаревшим способом на UDP 53, его перехватываем и направляем на DNS микротика.
У меня DoT развернут на УЛЮ ) и DNS микротика использует его для обработки всех клиентских запросов, т.е. снаружи я использую только DoT.

;; закрываем внешний DoT

/ip firewall raw
add action=drop chain=prerouting comment="block DOT 4 auto ipset" dst-address-list=!not_in_internet dst-port=853 in-interface-list=LAN protocol=tcp \
    src-address-list=own-net-user place-before=0

;; перехватываем DNS

/ip firewall nat
add action=redirect chain=dstnat comment="DNS 2 me" dst-address-type=!local dst-port=53 in-interface-list=LAN protocol=udp src-address-list=own-net-user src-address-type=!local to-ports=53 place-before=0

в список own-net-user можно включить всю домашнюю сеть (192.168.50.0/24) или отдельные хосты
ну а это просто для порядка

/ip firewall address-list
add address=0.0.0.0/8 comment=RFC3330 list=not_in_internet
add address=172.16.0.0/12 comment=RFC3330-1918 list=not_in_internet
add address=192.168.0.0/16 comment=RFC3330-1918 list=not_in_internet
add address=10.0.0.0/8 comment=RFC3330-1918 list=not_in_internet
add address=169.254.0.0/16 comment=RFC3330 list=not_in_internet
add address=127.0.0.0/8 comment=RFC3330 list=not_in_internet
add address=224.0.0.0/4 comment=Multicast-3171 list=not_in_internet
add address=192.0.0.0/24 comment=RFC3330 disabled=yes list=not_in_internet
add address=192.0.2.0/24 comment="RFC3330 TEST-NET-1" list=not_in_internet
add address=198.51.100.0/24 comment=TEST-NET-2 list=not_in_internet
add address=203.0.113.0/24 comment=TEST-NET-3 list=not_in_internet
add address=100.64.0.0/10 comment=RFC6890 list=not_in_internet
add address=240.0.0.0/4 comment=RFC3330 list=not_in_internet
add address=192.88.99.0/24 comment="6to4 relay Anycast [RFC 3068]" list=not_in_internet

[neduus]

Для полноты, в одноплатник (достаточно одного интерфейса)
в sysctl.conf
net.ipv4.ip_forward=1

в ipset

sudo ipset -N ownuser nethash
sudo ipset add ownuser 192.168.50.0/24

sudo ipset -N notinet nethash
sudo ipset add notinet 192.168.0.0/16
sudo ipset add notinet 10.0.0.0/8
sudo ipset add notinet 172.16.0.0/12

в iptables

; NAT
sudo iptables -t nat -I POSTROUTING \
-m set --match-set ownuser src \
-m set ! --match-set notinet dst \
-p tcp --dport 443 \
-j SNAT --to-source 192.168.51.2

; 4 NFQWS
sudo iptables -t mangle -I POSTROUTING -o eth0 -p tcp --dport 443 \
-m set --match-set ownuser src \
-m set ! --match-set notinet dst \
-m connbytes --connbytes-dir=original --connbytes-mode=packets --connbytes 1:6 \
-m mark ! --mark 0x40000000/0x40000000 -j NFQUEUE --queue-num 537 --queue-bypass

запускаете службой nfqws со своими хостлистами/профилями
и тут все только про https, если нужен quic, добавляйте

[neduus]

не заметил сразу, в примере бридж назвал LAN, а в правилах где DNS ловится, уже использую in-interface-list тоже LAN, учтите эту ошибку, в блокноте собирал ...

[mikrobuzzz]

Заворачиваем наш проблемный трафик на УЛЮ

/routing table
add disabled=no fib name=to_prx

/ip route
add check-gateway=ping disabled=no distance=1 dst-address=0.0.0.0/0 gateway=192.168.51.2 pref-src="" routing-table=to_prx scope=30 suppress-hw-offload=no target-scope=10

/ip firewall mangle
add action=mark-connection chain=prerouting connection-mark=!prx-conn connection-state=new dst-address-list=DPI-youtube dst-port=443 in-interface=LAN new-connection-mark=\
    prx-conn passthrough=yes protocol=tcp src-address-list=own-net-user
add action=mark-routing chain=prerouting connection-mark=prx-conn dst-address-list=!not_in_internet in-interface=LAN new-routing-mark=to_prx passthrough=yes src-address-list=\
    own-net-user
add action=mark-routing chain=output connection-mark=prx-conn new-routing-mark=to_prx passthrough=yes

192.168.51.2 - это УЛЮ кто quic тоже обрабатывет - добавьте маркировку udp 443

Сделал со своими особенностями. Ютуб работает идеально. Но вот дискорд не работает вообще. Внёс все мыслимые и не мыслимые имена обслуживающих его хостов - ни в какую. Приложение на телефоне просто не получает обновления инфы. Такое ощущение, что затык идёт по части WebSocket.

[neduus]

Посмотрю ради спортивного интереса.
Но можно пока поизучать трафик wireshark, начать с сбора доменных имен с фильтром
_ws.col.protocol == "DNS"
может там что-то проскочит, что не учтено
можно ловить трафик в wireshark с микротика (например идущий только с телефона), используя в mangle правила с action sniff TZSP.
В запрете есть файл \zapret-master\init.d\openwrt\custom.d.examples\50-discord - в нем, я так понимаю, решение проблемы с голосом, а работу с сайтом поисследовать.

[neduus]

Для работы приложения хватило адреса этих доменов повылавливать (долго не смотрел, за пару минут, что шарк наловил)

discordapp.com
discord.gg
discord.com

и disorder2 с этим хостлистом

звонки не проверял, (пока некому позвонить).
Для голоса можно из примера zapret промаркировать udp 50000-50099 на эти же адреса и соответствующую стратегию добавить.
Для большего порядка/оптимизации можно закидывать ip адреса в отдельный список.

[mikrobuzzz]

Для работы приложения хватило адреса этих доменов повылавливать (долго не смотрел, за пару минут, что шарк наловил)

discordapp.com discord.gg discord.com

и disorder2 с этим хостлистом

звонки не проверял, (пока некому позвонить). Для голоса можно из примера zapret промаркировать udp 50000-50099 на эти же адреса и соответствующую стратегию добавить. Для большего порядка/оптимизации можно закидывать ip адреса в отдельный список.

Есть компьютер на винде, у которого контейнер с запретом прописан как шлюз, и там всё работает отлично, в том числе и дискорд со всем его голосовым и видео функционалом. Неправильная конфигурация запрета отпадает, тут явно что-то на стороне микротика. Потому что уже на смартфоне шлюзом является сам микротик, который заворачивает нужный трафик на ломалку с запретом. И там дискорд вообще не может обновить ни один чат, о войсе и речи даже нет. Хотя для него всё прописал идентично ютубу, а ютуб при этом работает идеально.

[neduus]

Тут уж не могу подсказать с чужим железом. У меня с телефона работает и чаты в том числе. Нужно помониторить прохождение трафика (на микротике, на ломалке), все ли правильно ходит. Про NAT на ломалке не забыли для дискорд трафика?

[neduus]

медиа в чатах не отображались
нужно добавить
хост media.discordapp.net или домен discordapp.net
upd: media не достаточно, весь домен

[mikrobuzzz]

Тут уж не могу подсказать с чужим железом. У меня с телефона работает и чаты в том числе. Нужно помониторить прохождение трафика (на микротике, на ломалке), все ли правильно ходит. Про NAT на ломалке не забыли для дискорд трафика?

Ломалка рабочая, потому что если она на девайсах сконфигурирована как шлюз (весь трафик гоняется через нее), то все работает отлично. Но я не хочу гонять через нее весь трафик всех девайсов, поэтому и пытаюсь всё это дело настроить.

У дискорда все реалтайм-изменения приходят сообщениями в рамках WebSocket-соединения. Грешу на него. Позже попробую поисследовать.

Для дискорда прописана куча доменов:

add address-list=zapret disabled=no match-subdomain=yes ttl=1d type=FWD name=discord.com
add address-list=zapret disabled=no match-subdomain=yes ttl=1d type=FWD name=discord.gg
add address-list=zapret disabled=no match-subdomain=yes ttl=1d type=FWD name=discordapp.com
add address-list=zapret disabled=no match-subdomain=yes ttl=1d type=FWD name=discordapp.net
add address-list=zapret disabled=no match-subdomain=yes ttl=1d type=FWD name=discord.app
add address-list=zapret disabled=no match-subdomain=yes ttl=1d type=FWD name=discord.media
add address-list=zapret disabled=no match-subdomain=yes ttl=1d type=FWD name=discordcdn.com
add address-list=zapret disabled=no match-subdomain=yes ttl=1d type=FWD name=discord.dev
add address-list=zapret disabled=no match-subdomain=yes ttl=1d type=FWD name=discord.new
add address-list=zapret disabled=no match-subdomain=yes ttl=1d type=FWD name=discord.gift
add address-list=zapret disabled=no match-subdomain=yes ttl=1d type=FWD name=discordstatus.com
add address-list=zapret disabled=no match-subdomain=yes ttl=1d type=FWD name=discord.co
add address-list=zapret disabled=no match-subdomain=yes ttl=1d type=FWD name=discord.design
add address-list=zapret disabled=no match-subdomain=yes ttl=1d type=FWD name=discord.gifts
add address-list=zapret disabled=no match-subdomain=yes ttl=1d type=FWD name=discord.new
add address-list=zapret disabled=no match-subdomain=yes ttl=1d type=FWD name=discord.store
add address-list=zapret disabled=no match-subdomain=yes ttl=1d type=FWD name=discord.tools
add address-list=zapret disabled=no match-subdomain=yes ttl=1d type=FWD name=discordmerch.com
add address-list=zapret disabled=no match-subdomain=yes ttl=1d type=FWD name=discordpartygames.com
add address-list=zapret disabled=no match-subdomain=yes ttl=1d type=FWD name=discord-activities.com
add address-list=zapret disabled=no match-subdomain=yes ttl=1d type=FWD name=discordactivities.com
add address-list=zapret disabled=no match-subdomain=yes ttl=1d type=FWD name=discordsays.com

[neduus]

не совсем понимаю при чем тут websocket или у вас прокси используется

[mikrobuzzz]

не совсем понимаю при чем тут websocket или у вас прокси используется

Нет, на ломалке поднят nfqws.

Ютуб отлично работает только лишь когда включен QUIC. Видимо UDP трафик на стороне провайдера фильтруется слабо. Если же отключить QUIC, то ютуб работает, но первоначальная прогрузка видео каждый раз может продолжаться вплоть до минуты. В таком режиме куски видео подгружаются в рамках одного TCP-соединения. И если длительное TCP-соединение так замедляет ютуб, может оно же мешает и работе дискорда?

[neduus]

У меня ютуб работает только на tcp, quic используется для всяких мелочей интерфейсных, очень мало проскакивает
специально смотрел и гугл приставки и телефон, видео точно по tcp.
Никаких затыков и скоростных проблем нет.
Но у меня свой список хостов, доменов и свои стратегии. Тут я привел просто упрощенный пример как все это работает.
Конечно и в провайдере может проблема быть, хотя я не особо верю в разные алгоритмы у провайдеров, иначе как этим стадом коробок управлять централизованно можно нормально. Может от региона зависит...
Я проверял свою схему на 4-х провайдерах, один из них федеральный. Везде одни и те же стратегии работают нормально и периодически меняются одинаково.
А по поводу websocket, если tcp соединение установилось, то далее оно установлено и его никто уже не трогает. Проблему нужно искать на моменте установки соединения.
И у меня сам zapret в полной мере не используется, взял только бинарник nfqws и сам его настраиваю, как и iptables на УЛЮ.
И только свой TTL (никакие ни авто, ни fooling) использую, на микротике кстати, если используются фейки можно их вылавливать после nfqws и на лету менять TTL.

[ymfc123]

Сейчас подзагружен немного, в ближайшее время постараюсь выложить образ и настройки для routeros, но учитывая последние изменения в работе с ютубом, возможностей tpws больше не достаточно, для восстановления нормальной работоспособности ютуба. Теперь только nfqws, с которым контейнер микротика не может работать из-за ограничений. Поэтому с микротиком единственной рабочей схемой остается только использование одноплатника в сети (именно внутри домашней сети). Настройки самого микротика при этом те же самые, отличия только в том куда перенаправляется требуемый трафик, на контейнер или на одноплатник/(у кого-то может любой внутренний постоянно работающий ресурс, который может использоваться для этих целей). Зачем связь по почте? Я распишу все понятно. В крайнем случае придумаем что-нибудь. Обслуживанием по теме автора я не занимаюсь, а связкой микротика и запрета поделюсь.

@neduus а можете тоже образом поделится? Или уже не работает?

[neduus]

Я им не пользуюсь. Просто для проверки собирал. Выложу на днях, он не причесан. Все нужно в его консоли делать.
Все с чем стратегии tpws работают, то и с ним будет работать.

[teacons]

Получилось завести голос discord?