#dev (ilita) | Обсуждение разработки I2Pd | i2pd development discussion | http://i2pd.website/

Vort неплохой размерчик у транзита: ⇒ 4199617346 ⇒ 1761962976

Vort даже по вычислениям видно, что скорость была около 3 мегабайт/сек (хотя я видел и 4). при лимите P, который должен быть 2 мегабайта/сек

Vort мне-то не жалко, но лучше чтобы всё-таки ограничение работало

Vort похоже, я понял один из механизмов возникновения локальных волн количества туннелей и коннектов (сессий)

Vort допустим, есть 4к транзитов. приходит жирный туннель, один. отъедает всю полосу (и даже больше). новые транзиты блокируются. постепенно их количество падает меньше 1к

Vort жирный туннель уходит, количество транзитов постепенно ползёт опять вверх

Vort это не объясняет глобальных волн, правда, но об этом эффекте тоже надо помнить

weko Vort: ахринеть. Я думал 300мб рекорд, а тут 1.7 гига, какая то дичь уже. Тем более при лимите P. Надо вводить лимит на транзит 2 или 3 мбит/с на туннель

weko Vort: а вот если у меня X

weko Тоесть Unlimited

Vort да "просто" лимиты надо корректно реализовать

Vort но это типа непросто

weko Есть такое

Vort я вон хочу глянуть, там хоть 64 бита для количества байт в туннеле? )

weko Но можно же, нужно просто алгоритм найти/придумать

weko Vort: ))))))

Vort хы. size_t m_NumTransmittedBytes;

Vort кому-то с 32 битами не повезёт

Vort такс. я рестартую. гляну что там новые коммиты принесли

weko НуЖнО 64 бИтА

Vort Transit Tunnels: 226

Vort (после жирных туннелей)

weko М

weko Ну вот у меня нет лимитов

weko Возможно из-за тех у кого они есть происходят пики

weko Интересно

Vort ага

weko Если упёрлись в лимит трафика то нет смысла ограничивать новые тунели. Нужно ограничивать именно трафик

weko А если упёрлись в лимит по туннелям, то да, нужно не принимать

weko Но всё равно тогда не понятно почему пики такие большие

Vort примерно так

Vort только нужен ещё лимит сессий

weko Как будто полсети ну или хотя бы четверть уходит в лимит одновременно

Vort для линукса

weko Нужно сделать большой варнинг чтоб повышали тоже

weko СУКА!! ПОВЫСЬ ДЕСКРИПТОРЫ БЛЯТЬ!!

weko xD)

Vort так а что там с пакетами в линуксе?

Vort повысили, не повысили?

Vort обновили или нет?

Vort я вообще хз как это делается

weko Ну в теории можно в systemd поменять

weko Надо у R4SAS просить наверное

Vort но мне кажется, что новый пакет можно было выпустить сразу, как только обнаружили проблему

Vort так кто-то говорил, что уже поменяли

Vort вот мне и интересны подробности

weko Нужно чтоб в пакете было сразу лимит большой

Vort я же и говорю - вроде, должно было быть изменение до 8к

weko И вообще посмотреть можно ли менять прямо каким нибудь вызовом. ulimit же меняет как то.

Vort но я не знаю, где и как это проверить

weko У меня было точно не 8к

weko В systemd юните

Vort а обновления пакета приходили?

weko Так они не меняют

weko Ничего кроме бинарника

Vort это почему?

weko И правильно делают

weko Так потому что будут перезаписывать мои изменения

weko На дефолтные

Vort это если они есть. а если нету?

weko По крайней мере в pacman так по дефолту

weko Так они есть

weko Если нету то не знаю

weko Я не ставлю уже из репов, я оттуда один раз поставил как ради всех конфигов и всё

weko Сейчас просто собираю и копираю бинарник

weko Копирую*

weko Это вполне нормальное поведение пакетников

weko Что они не пишут в уже существующие конфиги ничего

weko Да правильно было бы закомментировать строчку наверное

weko Я кстати хз, она закомментирована по умолчанию?

weko Сейчас гляну

Vort какая строчка?

weko Ну на лимиты туннелей

weko Например

weko Да закоментирована

weko В юните так не сделаешь

Vort нет ли там системы типа include в c++?

Vort чтобы включить дефолтные настройки и потом переопределять что надо вручную

Vort тогда и обновлять можно было бы

weko Я хз

weko github.com/PurpleI2P/i2pd/blob/openssl/contrib/i2pd.service

weko Вот тут 4к

R4SAS это поднимем, не сразу конечно

R4SAS надо еще дописать в конфиге и морде что надо следить за количеством дескрипторов перез увеличением

orignal продолжаем наводить порядок дальше с NTCP2

orignal там реально лажа происходит причем отлично вопроизводится с ygg only

weko так отлично

weko этио хорошо

weko с 4rum.i2p:

weko какая разница - атака или бага? Раз такая бага существует, то скоро возникнут желающие использовать это как атаку. Так что надо воспринимать это как атаку в любом случае. И на самом деле ситуация гораздо хуже. Во первых последние

weko несколько месяцев в субботу идут эксперименты с блокировкой/шейпингом/флудом i2p. иногда блокируется вместе со всем шифрованным "непонятным" трафиком(tor+i2p+torrent+что-то ещё) иногда только tor, иногда только i2p(хотя есть подозрение что tor+

orignal так что добью

weko i2p, но последнии версии мостов tor слишком хорошо прятались под обычный траффик или WebRTC). Последний месяц i2p глушат в субботу регулярно. Начинают где то в 00:00 UTC+3 и заканчивают в 24:00. Что очень плохо - что глушат так что остальной тип

orignal там чистый тест получается

weko шифрованного трафика пропускают, а i2p сбоит. значит научились отделять траффик друг от друга. Глушат так, как будто попал в 2015 год - иногда сайты не открываются по 20 минут. Нажал - и жди минут 10. Потом ещё раз нажимай. Хотя при этом ш2з-

weko торренты вроде работают. Значит не все соединения обрубают. При этом каждую субботу tcsr(tunnel creation success rate) падал до 45-50%. Последние две недели стал падать до 30%. при этом i2pd набирает потребление до 250-300 МБ и начинает в разы сильней жрать

weko проц чем обычно. Суббота это вообще день экспериментов. Спец. ВПНы с частичной обсфсфсуссикацией блокируют именно по субботам. И праздникам. наверное чтобы не задеть банки в будни. Такчто ш2з пытаются блокировать уже давно. Я уж и

weko молчу в принципе что иногда ровно в 00:55 ночи на 10-20 отключают интернет тем у кого много шифрованного постоянного траффика на отдачу.

orignal очередной персонаж с килисцы? ))

weko а может и кислицы

weko пришёл на форум

weko что думаешь ?

weko я бы понаблюдал, но выглядит как странная шиза

weko orignal: да ygg only удобен тем что там точно только i2pd и можно отделить баги жабы от багов i2pd

orignal короче надо разбираться

orignal насчет того поста думаю что чушь собачья

Vort хах. оказывается и у TCP фигня с портами бывает

Vort [28/Dec/2022:10:30:49 +0200]@100/error - NTCP2: Incoming connection from invalid IP 172.20.23.173

Vort [28/Dec/2022:10:30:49 +0200]@832/error - SSU2: Incoming packet received from invalid endpoint 172.20.23.173:21637

Vort точнее, с неверным адресом. но порт может быть неверный тоже )

orignal Vort вот видишь вчера добвил и хуйня полезла

Vort ага

orignal я порт для TCP не пишу

orignal он там все равно эфемеральный

Vort не помешает ли эта фича людям, которые из локалки подключаются к i2p?

orignal я просто работаю над тем чтобы банить мамкины ддосеров

Vort на всякий случай спрашиваю

orignal который будут долбать порт

orignal а как она можешь помешать?

Vort ну у них же типа исходящий адрес локальный? плохо понимаю, поэтому если всё ок, то и ок

orignal у них локальный но пир видит реальный после ната

orignal мы не предолагаем возмжонсти соединеняи по локальной сети

orignal если два роутера стоят в локальной сети они должны соединяться через внешний адрес

weko мне кажется зря

weko а

weko тогда ок

Vort то есть, конфигурация локалка на 5 компов, 4 без инета не поддерживается вообще никак?

weko orignal: сделай возможность выключить эту проверку

weko например у меня один роутер для выхода инет другие чисто для шифрования или ещё чего то

orignal так убери в util.cpp

weko многие конфиги могут быть, лучше сделать возможность выключить проверку. может быть для нескольких адресов

weko orignal: я понимаю, просто лучше если будет параметр

orignal bool IsInReservedRange (const boost::asio::ip::address& host)

orignal чтобы всег вовращало false

weko можно глянуть

orignal не надо такой параметр

weko почему?

orignal потому что будет мусор в сети

orignal отключать эту проверку надо только если у тебя тестовая сеть

orignal локальная

weko ну или у тебя стоит один роутер с выходом в инет, а у других нету

Vort просто если поддержка невозможна и вредна - это одно. если куча юзеров нормально пользуется, а после нового релиза не смогут, то будет не очень

orignal Vort а зачем тебе i2p роутер без интернета?

weko и стоит что они коннектятся только к одному

orignal Vort нет это не нормально

Vort orignal: да мне не надо. просто думаю, не пользуется ли кто так

orignal таких адерсов в основной сети быть не должно

orignal просто тут недоработка была

orignal так в другую сторону это проверяется

orignal давынм давно

weko я даже видел, как где то писали про связку роутеров, один с инетом другой без

orignal может ты с ygg путаешь?

orignal в i2p такого быть не должно

weko нет, писали про i2p. может быть чел не проверял

orignal роутер всегда должен иметь соединеняи с другими

orignal ну вот тогда как раз защита от таких идиотов

weko ну например у меня есть роутер в глобальной сети, есть роутер в одной локалке с первым, у него стоит один разрешённый роутер - первый и все туннели увеличины на 1 хоп

weko вот в такой ситуации типо

weko а стоп, в такой ситуации первому со вторым связывать и не нужно

orignal тебе не нужен второй роутер в локальной сети

orignal используй тот который в глобальной для всех

weko ну дак может сеть не безопасная наприме

weko например

weko я понял уже что это будет работать

weko потому что второй сможет связаться с перым через нат

weko а первому со вторым и не надо

weko у меня нету такого конфига но кому то может пригодится

orignal ну вот просто не надо так делать

weko если есть роутер с доступом, а сеть не безопасная

orignal еще раз i2p роутер должен умать выходить в сеть

orignal по какому нибудь трапсорту

orignal если не умеет такой роутер в сети не нужен

weko ну это понятно

orignal ну локально какие то тоннели прокинт на него

weko просто второй в сети и не будет

weko это как прикладное использование ntcp/ssu

weko чтобы в небезопасной сети передовать

weko от одной точки где нет глобальной сети, до другой, где есть

orignal ну вот строй тогда своию отдельную сеть

orignal с другим netid

orignal и закомментируй тот код

weko а как роутеру с глобальной сети задать два netid? или запустить два роутера, и передавать с одного в другой трафик?

weko через loopback передавать конечно

weko впринципе да идея. но просто если у человека такой случай он может и не знать что коментировать

weko оставлюсь на том, что он слишком специфичный.

weko будет лучше реализовать способ использовать ntcp и ssu как прикладной транспорт, для любого вида трафика

orignal два роутера разных

weko да окей я уже понял

weko возможно отдельно использовать транспорта или не выйдет?

weko транпорты*

orignal кстати на самом деле правильное решение если уж так хочется это поверх ygg

orignal один ygg с пирами

orignal остальные в локальной сети чрез него

weko а ygg определяется dpi?

orignal и тогда на каждом можно поднять роутер

orignal (я так и делаю)

orignal ну это другая задача

weko просто предположим сеть между роутерами не безопасная

orignal тут есть много вариантов

orignal этот самвый простой

weko можно ли отделить ntcp/ssu от i2p? я просто интересуюсь, даже не обязательно для этого

weko я насколько знаю там есть привязка к ключам роутера, но их можно симулировать

weko 11500 туннелей

orignal ну так

orignal это не проблема пролема NTCP2 сессии

weko Ну понятно

orignal счас этим я и занимаюсь

weko Просто говорю что дохрена

weko Фиксы это хорошо

Vort orignal: плохая новость - Stream::Receive по-прежнему крешится

Vort хорошая новость - написал программу для разрешения символов стека

Vort теперь не надо полчаса возиться для этого

Vort (стек кинул на гитхаб)

orignal счас посмотрю

orignal придется переделывать более серьещно

orignal Vort попробуй AdressBook.cpp откатить два поледних коммита и посмотреть что будет

Vort да оно-то можно. но тогда же я последние изменения проверять не смогу

Vort а этот креш - редкий. ну ок

Vort разве что сделаю новую ветку

orignal именно AddressBook.cpp до ревизии без Receive

orignal просто скопируй ту версию и все

Vort и буду в неё вливать основную

Vort говорю же - баг редкий, а я хочу и последение изменения тестировать. поэтому попробую два в одном сделать

orignal да не торопись

orignal я просто смотрю что накосячил

Vort то есть, надо вернуть на stream->AsyncReceive ?

orignal да вот с мьютексами там

orignal работало же годами ))

orignal я просто думаю может что то именно с виндой

orignal потому что у меня и текущая не крэшится

Vort автор багрепорта на OpenWrt это ловил ведь

Vort я только подтвердил то, что он нашёл

orignal ну там то понятно что было

Vort перезапускаю

Vort ок, сделал

Vort но есть ещё вариант

Vort можно наоборот попытаться ускорить воспроизведение

Vort адресная книга ведь редко обновляется?

Vort а если её по сути в цикле обновлять?

Vort может быстрее будет баг вываливаться

orignal можно да

orignal если поменять константы с Adressbook.h

Vort да. но я пока буду тестировать вариант с откатом

orignal но только делай так с reg.i2p

orignal от остальных можешь получить пизды за это

orignal кстати я похоже починил NTCP2

orignal счас закоммичу

Vort нельзя ли свой адрес туда подсунуть?

Vort или это сложно?

orignal это не ко мне вопрос

orignal что там на reg стоит

orignal а так можно конечно

Vort хехе. вот потому я про отдельную ветку и говорил. потестирую и NTCP2

R4SAS по поводу?

orignal счас закоммичу

Vort я имел в виду что для того, чтобы не перегружать чьи-то серваки тестом адресной книги, можно свой сервак сделать

orignal R4SAS как ему свой "reg" поднять чтобы запросами заваливать для тестов

Vort но вообще хз насколько это сложно

R4SAS так ему надо только hosts.txt

Vort то есть тупо положить текстовик куда-то и всё?

R4SAS так ты хочешь чего именнно проверять?

Vort ну и в конфиг прописать

R4SAS тебе нужны просто какие то узлы чтобы отдавались?

Vort скорее всего, крашится при обновлении адресной книги

Vort чтобы не ждать днями пока краш вылезет

R4SAS ну заваливай рег, ему пофиг

Vort можно поставить обновление почаще

Vort :)

R4SAS там я вообще не лимитирую ничего

Vort ну я пока буду тестировать версию с откаченным AddressBook.cpp. на два одновременных теста у меня энтузиазма не хватит )

R4SAS если ты хочешь прям свой узел, то бери с рег полный hosts (ссылка есть на главной), его просто вешаешь на веб сервер и всё

weko orignal: кстати а каким b32 обновляется адресная книга?

Vort orignal: R4SAS: кстати. у меня же нестандартная настройка

R4SAS скармливаешь ссылку на свой b32

Vort defaulturl = shx5vqsw7usdaunyzr2qmes2fq37oumybpudrd4jjj4e4vk4uusa.b32.i2p/export/hosts.txt

orignal вопрос не понял

R4SAS Vort: и что?

R4SAS это дефолт

Vort не уверен

R4SAS прсто путь напрямую на файл

R4SAS shx5vqsw7usdaunyzr2qmes2fq37oumybpudrd4jjj4e4vk4uusa.b32.i2p === reg.i2p

Vort у меня по дефолту какая-то обрезанная адресная книга качалась

R4SAS Alive list: /export/hosts.txt

Vort поставил из-за этого полную

R4SAS она первый раз качается обрезанная

R4SAS далее всегда полная

Vort а, ну ок тогда норм

Vort значит, я первый раз когда тестировал просто не дождался полной

R4SAS там сделано так чтобы при первом запуске был хотя бы базовый список узлов

weko orignal: ну к серверу с адресам же нужно как то обратится, какой адрес для этого используется?

R4SAS последующие запросы отправляют в заголовке дату изменения последнюю, и сервер из-за этого отправляет полную

orignal в конфиге прописано

R4SAS а вообще, самая полная - тут:

R4SAS Whole list: /export/hosts-all.txt

weko нет не куда с какого

weko мне же reg.i2p отвечает как то

weko на адрес

weko на какой он отвечает

R4SAS посмотри на туннели со своей стороны

R4SAS сразу поймешь куда он тебе отвечает

weko на explaratory что-ль? не понял

R4SAS нет

weko exploratory*

R4SAS Local Shared

weko так а какой адрес используется

weko не пойму

R4SAS котроый виден тольео на странице Local Destinations

orignal неее

orignal там есть такая штука называется shared local destination

orignal секретная ))

weko чооооооооо )))

weko а что это?)

weko это временный destination ? )))

weko нагрузки всё растут и растут

weko процент всё падает и падает(

weko надо релиз делать

Vort жалко, что баг с адресной книгой на залатался. с ним как-то нехорошо получается релизить

weko ну я не говорю срочно

Vort ну и с потерянными NTCP2 тоже разобраться не помешало бы

Vort а так да

weko надо поправить этот баг точно

weko ntcp2 потерянные не так ужасно. вроде лось написал что поправил, выше

weko они всё время были

Vort жду коммита, буду проверять

weko а вот снижение процента изза ssu2 это точно есть

R4SAS Vort: у тебя есть целая неделя

R4SAS развлечений на НГ тебе хватит)

weko а вы хотите релиз через неделю что-ли сделать?

R4SAS 9 янв

R4SAS или 8

R4SAS не помню

weko а точно у джавы вроде какая то планировка есть

weko )))

weko читал у них в доках

Vort особенность моего метода тестирования (отката адресной книги) в том, что в случае успеха он ничего не покажет :) так что ждать можно долго

Vort а мне ускорять воспроизведение смысла нету - я всё равно это не починю

Vort вот исправления NTCP2 посмотрю

weko не починишь но сможешь проверить

Vort я уже два идентичных креша словил, зачем ещё? и разве там какой-то другой код кроме адресной книги эту функцию дёргает?

Vort так что это проверка на всякий случай, если я правильно понимаю

weko если за сутки нет бага при активном воспроизведнии, значит с большим шансом бага нет

weko Vort: ну я думал что нужно если поменялся код, то проверить пофиксил ли он баг

Vort а, думаешь совмещать откат + ускоренное воспроизведение?

weko тут всё понятно вроде в этом плане

Vort мне эта идея не очень нравится

weko не знаю, просто воспроизводить во всяком случае можно часто

Vort ускоренно воспроизвести чтобы ускоренно починить - вот это мне кажется правильным )

Vort но я чинить это не буду

weko ну понятно что не ты

weko я же про это не говорю

weko главное что ты кинешь трейслог

weko Transit Tunnels: 12010

weko 2625.70 KiB/s

weko опять пики пошли чтоль

weko пики точёные хуи дрочёные

weko stats.i2p/cgi-bin/total_routers_month.cgi

weko итересно кстати, что рост количества роутеров замедлился, но пока ниже 2000 не упал. надеюсь так и будет, ведь если это стабильное увелчение роста, то это очень хорошо

weko кстати. кажется потребления памяти уменьшилось. хотя ещё хз, надо подольше подержать

orignal нее

orignal вот с последними коммитами уменьшится

orignal который я еще не залил

orignal Vort все я нашел твою проблему

orignal с транспортами

orignal последний коммит

Vort сейчас буду смотреть

orignal на голом ygg все пашет идеально

orignal счас попробую на тяжелых флудфилах

Vort ну пока что у меня сейчас тоже идеально

Vort но для полноценного теста надо пару часиков подождать

orignal но у тебя нет тяжелого флудфила

Vort отчёты об ошибках когда лучше закрывать? как только коммит опубликован? или лучше после релиза?

Vort с вероятностью в 99% этому багу хана

orignal да после коммита со ссылкой на него

orignal типа после коммита такого то бага больше нет

Vort ну я напишу что исправлено в последнем (id) хоть наверно и в двух последних, но это уже детали

orignal ну да

orignal вот эта хрень с нагузкой выявила еще проблем до жопы

orignal в частности в NTCP2 не баню придуроков которые долбаются на порт хотя в старом NTCP было

orignal забыл перенести тот код ))

Vort как по мне, лучше вначале сделать релиз без багов (почти), а потом уже защиты накручивать

Vort чтобы было на что откатываться в случае чего )

orignal "релиз без багов" это как коммунизм

orignal заведомо недостижимая цель

Vort я имею в виду подход наподобие ru.wikipedia.org/wiki/%D0%A2%D0%B8%D0%BA-%D1%82%D0%B0%D0%BA_(%D1%81%D1%82%D1%80%D0%B0%D1%82%D0%B5%D0%B3%D0%B8%D1%8F)

Vort с чередованием исправлений/оптимизаций на одном этапе и новых фич на другом этапе

Vort может, есть какой-то термин получше, не знаю

orignal ну счас считай форс мажор

Vort быстро выпустить увеличение лимитов (дескрипторы и транзиты) - это я понимаю. но вот быстро лепить защиты - может выйти боком

orignal так надо иначе может все посыпасаться

Vort ну хз

orignal ну и дед требует чтобы я транзиты ограничивал

orignal а то i2pd пропускает поток запросов а делее в списке джаовский узел начинает колбасить

orignal Routers: 11486

orignal бля

orignal а в от Receive там какая то более глубокая проблема

orignal с этим надо разбираться

Vort orignal: речь о локальном лимите? который не от атаки а от тупого использования API?

orignal и локальный на число одновременных запросов тоннелей

orignal и на транзит число запросов в секунду лимитировать

Vort а что даст лимит запросов в секунду на транзит? узел ведь через некоторое время ровно такой же запрос опять пришлёт

Vort (сразу скажу, что всё ещё плохо понимаю механизмы работы, может глупости говорю)

Vort ещё по поводу ситуации. сколько оценочное количество юзеров биткоина тут? допустим, 700? и всего юзеров - 70 тыщ?

orignal а x3

orignal да мне пох

orignal это дед тонет в запросах

Vort если так, и если каждый юзер даёт фон 1000 одновременных транзитов, то разве при их 1% заселения это не должно в среднем дать фон в 10 одновременных транзитов?

orignal там проблема что их много враз запрашивается

orignal все так и есть как ты говоришь

orignal только вот джавы узлы от этого хуеют

Vort то есть, гипотетическая ситуация: 600 транзитов за 1 сек, а потом 10 минут тишины - это хуже, чем 1 транзит в сек каждую секунду в течение 10 минут?

Vort сумма та же

Vort в плане transittunnels. но влияние разное?

Vort про проценты юзеров биткина же пишу потому, что мне по-прежнему кажется, что ситуация не ясна. а раз не ясна ситуация, то не ясно, как ей противостоять

orignal неее там все хуже

orignal строт например 100 транзитов

orignal на них прилетают отлупы

Vort может, от кривого использования API и можно на всякий случай защититься. а вот просто лимиты на скорость - не уверен, что это поможет

orignal потому что джава узлы не тянут

orignal через полминуты снова запрос на 100 и так до бексонечности

orignal пока не попадет на все 3 i2pd

orignal ну так ты понял проблема тут всего в одном ))

Vort по этому примеру: если бы эти 100 были размазаны при сохранении количества, то было бы нормально?

orignal с этим фиксом хоть завтра релиз не делай )

orignal Vort проблема что в этих 100 почти всегда джава узел встретится

orignal в каждом тоннеле

Vort я всё же пытаюсь понять - важна ли концентрация запросов по времени, или важна общая сумма