#dev (ilita) | Обсуждение разработки I2Pd | i2pd development discussion | http://i2pd.website/

orignal R4SAS а че билд на макоси фейлится?

WayBest Лось, а как скоро твои патчи попадают в пакеты R4SAS?

orignal я же сказал в середине мая

orignal когда джависты со своей стророны релизнутся

WayBest Понял, спасибо) Не увидел видимо из-за нестабильной сети

orignal рестрат илиты через 10 минут

Nausicaa i just compiled the last commit (bb6212cc) on macos using cmake with no problems

Nausicaa thanks for the fix! you guys are the best

orignal graet

Vort 2.51.0-22 крешнуло ночью в том же самом месте

Vort вижу уже дополнительные исправления в 2.51.0-23, буду теперь его тестировать

onon1 orignal, Я придумал ещё один способ консервативного лечения нынешней проблемы.

onon1 Делаем ещё один синтетический параметр как с tcsr только для обращений к флудфилам flsr например. Считаем все запросы и ответы, считаем успешность. Естественно, всех ответивших флудфилов помечаем как ->IsReal.

onon1 А дальше делаем финт как с tcsr: if (flsr < rand() % 100) send requests only to ->IsReal

onon1 И в случае поиска лизсетов и в случае с RI. И если мы сами фф, и у нас запрашивают то, чего у нас нет, отдаём так же: if (flsr < rand() % 100) insert a ->IsReal FF into the answer

onon1 Ну и ещё обязательно нужно при очистке нетдб, с большей вероятностью вычищать непроверенные роутеры и флудфилы, но это вроде и так понятно.

onon1 Тогда сеть будет сама защищаться от подобных атак

tetrimer Сейчас еще и peerProfiles пухнет не по детски.

Most2_ 06.<trusishka> Есть какие нить изменения?

Most2_ 06.<trusishka> Чтобы перекомпилить и жить счастливо

weko Blinded message

weko было бы не плохол

WebClient95 атака ебашит

WebClient95 когда вы уже подписи свои внедрите?

orignal крэшнуло на excludedpeers или что?

orignal onon1 ну для флудфилов я давно пора добавить профилировщик

orignal тут проблема в другом

orignal пока ты рейт для флудфила вычислишь они успевают засрать всю базу

onon1 Ну так этот метод он не предотвращает засирание базы, просто это некий backpressure от количества фейковых роутеров. Чем их больше, тем меньше вероятность, что они будут использованы.

onon1 А через некоторое время будут вымыты из нетбд

orignal так то что счас делает это много быстрее

onon1 Ну да, будет скапливаться на фф, но дальше распространяться не будет

onon1 И будет работать стабильнее, т.к. флудфилы будут их постепенно "переваривать"

orignal так чем оно лучше чем счас?

onon1 Тем, что не будет отдавать regular нодам atqrjdst фф

onon1 фейковые*

orignal так и счас не отдает

onon1 Да ладно

orignal они в список флудфилов не попадают

onon1 Откуда у меня было 3к флудфилов?

orignal прямо сейча?

onon1 Нет, до того как я поставил 1000

onon1 Когда 1500 было

orignal потому что порог стоял 1500

orignal и начанало филттровать только с 1400

orignal поэтому

orignal а при пороге в 1000 их пролазит резко меньше

onon1 Но всё таки пролазят.

onon1 И это зависит от интенсивности атаки.

orignal ну так порог потому что

orignal поставь 500 вообще не будет

orignal но тогда я боюсь сеть вообще ляжет из-за джавистов

onon1 Ну как минимум, такое решение не универсально

onon1 Постоянно подгонять лимит под реальное количество фф

orignal так твое тоже

onon1 Нет, там можно хоть 10к фф

orignal пришел новый флудфил как ты знаешь хороший он или плохой?

onon1 Просто он будет отдавать только проверенные

orignal а откуда возьмутся проверенные?

onon1 Если у нас высокий рейт, будут к нему нормально запросы идти

orignal вот у тебя новый узел

onon1 Если низкий, то с низкой вероятностью

orignal откуда возьмутся прверенные?

orignal в начале их нет

onon1 Ну он же постояно добавляет некоторый процент непроверенных

orignal потому и нужен порог этот

onon1 Ну так не сразу начинает работать защита

onon1 А минут через 10

onon1 Как на tcsr

orignal ну так вот сейчас именно так и сделано

orignal и да можно убрать порог через 10 минут

onon1 В общем, ты похоже не понял, что я имел в виду.

orignal я понял что ты хочешь профилировать флудфилы

orignal но для этого ты должен к флудфилу обращаться

onon1 Да

orignal ну это правильно и давно пора сделать

orignal просто при твоем методе будет засираться быстрее чем ты будешь профил ировать

onon1 Смотри, если у нас рейт 10%, то с вероятностью 90% мы выберем проверенный фф и с вероятностью 10% - непроверенный

orignal ну понял мысль ты хочешь непровренные добавлять с писко флудфилов но не отдавать

onon1 Да

orignal вот я и боюсь что у тебя тогда список застрется быстро

onon1 И самим их проверять

onon1 Ну так потом чистка сработает

onon1 И непроверенные дропнутся

orignal так она сработает меддленнее чем добавляются

onon1 А проверенные продлятся

onon1 Ну да, не быстро.

orignal объясни мне чем ответ от флудфила лучше установки соединения с ним.

onon1 Но в текущей ситуации если бы у нас такое было, то всё работало бы сильно лучше

onon1 Если мы при этом можем проверить валидность фф - то ничем

orignal в твоем методе мы просто чаще будет пытаться поключаться к непроверенным

onon1 Далее у нас упадёт рейт и мы начнём это деоать реже

orignal ну в общем да смысл есть

Vort "<~orignal> крэшнуло на excludedpeers или что?" ну да. но в 2.51.0-22 ведь было на одну блокировку мьютекса меньше. может, в 2.51.0-23 крешить не будет

orignal может. я там просто опечатлся

orignal вместо copy сделал cut

orignal там еще одно место есть

orignal я не успел с ним разобраться

Vort orignal: я близок к разгадке одной из проблем с утечкой памяти

Vort она явно связана с массовой записью на диск

Vort сейчас подготовлю два скриншота

orignal а как запись на диск порождает утечку памяти?

Vort возможно, блокируется какой-то поток

orignal ну хорошо но потом же он разблорируется

Vort paste.i2pd.xyz/?0dc6337032ea00b1#H1pcLULVP12muz19dKXrtme5p5undx8UtdL7gbr4YimQ

Vort paste.i2pd.xyz/?48612155870bfd7b#694V9TtjFmSBJ1RPVSs1hpWTgu7Bn2EkoCenZVKcmVyP

Vort "<~orignal> ну хорошо но потом же он разблорируется" ну да, минут через 20

orignal логично что какой то тред зависает

orignal а потом накполенное просирается

orignal а какой тред у нас массово пишет на диск? Netdb

Vort важным может быть всплеск количества TCP коннектов

Vort на пике утечки, когда начинает жрать CPU

orignal меня интересует почему не просирается

Vort профили тоже поток netdb обрабатывает?

orignal почему память остается

orignal да тоже он

Vort ну у меня на графиках вниз память прыгает

orignal надо отдельный поток для них завести

Vort понимаешь - в коде может быть несколько утечек

Vort но я только вот такую видел

Vort вчера до 2.5 гигов RAM разжирела и до 0.5 спрыгнула

orignal вопрос: это чтение или запись?

Vort а вот этого я не логировал, не знаю

orignal мне не нравится этот метод

orignal const std::set<IdentHash>& GetExcludedPeers () const { return m_ExcludedPeers; };

Vort так у нас дест сам по себе сдохнуть не должен

orignal в любом случае надо дисковые операции вынести в отдельный тред

Vort только когда от него отцепятся все дропы

orignal дест сдохнуть не должен

orignal но кто то может взять список когда он меняется в другом треде

orignal вот с этим надо разобраться и переделать

Vort а ты не все такие места покрыл мьютексами?

orignal нет

orignal я только внутри

orignal но явно есть снаружи

orignal или надо метод выпилить

orignal чем я и намерен заняться

Vort "<~orignal> в любом случае надо дисковые операции вынести в отдельный тред" так они CPU не особо жрут, тут вопрос в синхронизации и блокировках

Vort надо, чтобы при тормозах винчестера поменьше частей i2pd заклинивало

Vort хз, правда, как сейчас, но, похоже, что не очень

orignal ну так идея в том чтобы основной тред не томозил а сбрасыватьв фоне

Vort если тормоза идут от записи профилей на диск, то да, логично - ждать, пока процесс завершится, не обязательно

orignal что я и хочу сделать

orignal я кстати счас изменеия пиров залью

orignal на share_ptr переделанные

orignal залил

orignal а жопа еще вот здесь

orignal auto nextFloodfill = netdb.GetClosestFloodfill (dest->GetDestination (), dest->GetExcludedPeers ());

R4SAS orignal: не знаю

onon1 Лось, там в #salrt требуют пруфов про тор

R4SAS почему то не видит openssl/sha.h

R4SAS вроде как

orignal обойдутся

R4SAS github.com/PurpleI2P/i2pd/actions/runs/8859880744/job/24330106278#step:4:11

orignal а он вообще openssl видит?

R4SAS по идее специально ставится 1.1.1

R4SAS github.com/PurpleI2P/i2pd/actions/runs/8859880744/job/24330106278#step:3:35

R4SAS но ощущение что по дефолту какая та другая версия используется

R4SAS мне сейчас не на чём проверить, ибо вм сдохла давно

orignal там должно с лююой работать

orignal может тогда отключить?

R4SAS а ты 3.3.0 проверял?

orignal нет

orignal а уже такой есть?

R4SAS есть

R4SAS я переключу на 3.0

orignal прокверю сегодня

orignal да можешь и на 3.2

R4SAS LTS только 3.0

R4SAS а, ясно

R4SAS там путь изменился

R4SAS я и забыл что там его менять планировали

Vort "<~orignal> на share_ptr переделанные" ещё же и блокировки надо будет добавлять?

orignal дальше посмотрим

orignal я пока только переделал

R4SAS заливаю фикс сборки

orignal кстати дед говорит что китайские роутеры опыть повылазили

Vort R4SAS: подобную фигню подправишь? Node.js 16 actions are deprecated

Vort и Deprecation notice: v1, v2, and v3 of the artifact actions

R4SAS классика

R4SAS ща залью

Vort спасибо. теперь бинарники сразу появляются

Vort раньше приходилось ждать сборки для XP

R4SAS и то там сборка не полноценная...

R4SAS как я ранее говорил, надо пересобирать всё вплоть до boost и openssl чтобы получилась конкретно XP

R4SAS да и не известно, пользуется ли кто либо

R4SAS не помню, приходилось ли мне пересобирать gcc тогда?

Vort я давно не проверял XP, не знаю, что там

Vort можешь пояснить суть обсуждений по поводу браузера?

Vort предлагаешь юзерам самостоятельно его собирать что ли?

R4SAS типа того

R4SAS как бы релизные архивы - это всё что лежит в репе

Vort я подозреваю, что они скорее будут сидеть на старой версии, вредя этим и себе и сети

R4SAS просто linux, mac, win

onon1 Лось, я в NetDb.cpp 671 там где роутеры помечаются к удалению добавил после

onon1 else if ((ts > it.second->GetTimestamp () + expirationTimeout/2) && // more than half of expiration

onon1 Ещё проверку:

onon1 !router->GetProfile ()->IsReal () && // unverified

onon1 Так будет работать?

Vort я тоже считал, что браузер не обновляется потому, что нету времени. догадаться, что его теперь надо собирать самостоятельно - очень непросто

Vort да и на i2pd.website идёт ссылка на github.com/PurpleI2P/i2pdbrowser/releases/latest

Vort "Скачать I2PdBrowser" и всё. вот юзеры и думают, что это - единственно верный вариант

Vort считаю, что надо или сайт переделывать и добавлять инструкции по сборке туда или таки нагенерить бинарников

R4SAS Vort: напиши автосборщик для gha_)))

R4SAS у меня действительно времени не хватает

Vort я с браузером почти не знаком, так что не возьмусь. временно можно просто как-то уведомить юзеров, что пока что цельных бинарников не будет

Vort "<~orignal> дальше посмотрим" то же самое (при выходе): paste.i2pd.xyz/?2bb4eccd15abfa0b#7wMbS8vL7g1vAqE4Tb3CVj32YLbp7VGQGD3iasCeMKMU

Vort у m_Peers опять неадекватный размер на строчке peer = m_Peers.emplace (ident, peer).first->second;

orignal ну так я это еще не чинил

orignal ты про excluded peers скажи

Vort сейчас перегружусь со свежим бинарником и буду следить

orignal так а что атака закончилась что ли?

orignal Routers: 8652 Floodfills: 894

onon1 Он, похоже испугался, что ты сейчас всё починишь, и у него не будет такой возможности влиять на сеть.

onon1 Рассчитывает, что всё рассосётся, как в прошлый раз. И все забьют на защиту от атаки.

orignal ну в прошлый раз защита была сделана нормально

orignal просто в этот раз атака в много раз мощнее

orignal в прошлый раз атака как раз закончилась когда я запилил зашиту

onon1 А сейчас они увидели, что я предлагаю, и решили, что лучше прекратят раньше, чем ты это реализуешь.

onon1 Точно тебе говорю. Это всё мои гениальные идеи.

Vort флудфилов в базе в 2 раза меньше, чем при атаке: 3k -> 1.5k

Vort рейт 9% (был последнее время 4-5%)

Vort аптайм, правда, всего 40 минут, а это влияет

onon1 Это апопис свои сервисы домой перевёз, а пока ещё оплата хостинга оставалась, решил сервера загрузить по приколу.

relaybot 13apophis: воистину гениальные идеи :)

orignal ну давай послущаем твои предложения

orignal ну че с падениями?

Vort падения в CreateRouterInfoDatabaseLookupMsg вылазили примерно раз в сутки. час аптайма ничего не покажет

Vort но что хорошо - новых разновидностей падений нету

Vort по крайней мере, пока что

relaybot 13apophis: > orignal: ну давай послущаем твои предложения

relaybot 13apophis: предлагаю написать и2пд мануалы на китайском, чтобу наши друзья не тыкались в код куда попало.

Vort по поводу атаки: свежие поддельные RI по-прежнему приходят, но их стало меньше

Vort кстати, атакующий так и не поменял длину i= ключа, так что чат он, скорее всего, не читает

orignal Vort ага поправлю

onon1 rand() % 100 может вернуть 0?

onon1 Нашёл. v1 = rand() % 100; // v1 in the range 0 to 99

whothefuckami_ onon1: rand() это плохой генератор

whothefuckami_ Используй генераторы из <random> библиотеки

onon1 Он что, недостаточно рандомный?

Vort whothefuckami_: rand сейчас по всему коду растыкан. да и проблема больше даже не в его плохости, а в том, что он не потокобезопасный

Vort ну и плохой, да, но для какой-то мелочи - это не важно

tetrimer Как мне видится, в рамках нынешней атаки, workaround следующий: на флудфилах убираем все из tunnels.conf на другие узлы. Тогда сервера приложений более менее доступны.

Vort я давно предлагал держать по два узла из-за плохой балансировки нагрузки

Vort но при атаке не факт, что это поможет

tetrimer Вчера-сегодня помогало.

tetrimer На узлах "не флудфилах" - TCSR выше

tetrimer У меня, по крайней мере.

tetrimer У меня флудфилы на последней версии - показывают TCSR 2-4%, в то время, как не флудфилы за натом и снаружи - 9-11%.

orignal tetrimer что с падениями?

tetrimer Не падало пока больше. Сам удивляюсь: скорость не трогал.

tetrimer У меня есть стойкое ощущение, что трафик по сети гуляет как-то волнами: то в одном узле подскакивают показатели, то, через некоторое время, в другом.

tetrimer Там, где падало:

tetrimer Uptime: 22 hours, 48 minutes, 58 seconds

tetrimer Version: 2.51.0-22-g5f39f655

tetrimer Routers: 23175 Floodfills: 989 LeaseSets: 375

tetrimer Client Tunnels: 12 Transit Tunnels: 5248

orignal ну зачит починилось

orignal Vort я похоже знаю где обращения к диску эти

orignal DeleteObsoleteProfiles

orignal вот где

tetrimer За сутки - у экземпляра, который падал в прошлый раз, памяти натекло на:

tetrimer PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND

tetrimer 14992 _i2pd 14 20 0 5313M 2309M nanslp 1 953:57 27,39% i2pd-g5f39f655

tetrimer Так что, может, оно просто немного не дожило до убиения процесса системой.

orignal ну мы думаем что это запись на диск

orignal счас я тут малось переделал

tetrimer Процесс netDB - там самый долгоживущий был.

orignal именно

orignal потому что там запись профилей

tetrimer PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU COMMAND

tetrimer 14992 _i2pd 21 0 5377M 2308M STOP 1 246:03 4,21% i2pd-g5f39f655{NetDB}

orignal счас вынесем их в отдельные треды

tetrimer У остальных TIME единицы.

orignal залил

R4SAS paste.i2pd.xyz/?a0132cd092460e26#8RT9YsJ8rjz7Uc5GAp6PvXR6nsuZ75hvphpNbpUcJhmx

R4SAS вроде успешно собрал

orignal ух ты

R4SAS некрофилия, да

orignal кто то ее еще использует?

orignal счас даже под семерку не собирают ))

R4SAS мабу только если )))

tetrimer Под семеркой с sp1 - как раз последние виндовые билды работают.

tetrimer С sp3 - молча вылетают.

R4SAS sp3?

R4SAS yf [h.it&

R4SAS на хрюше?

tetrimer Нет, windows7

R4SAS откуда sp3 на win7?

tetrimer Или sp2 плюс что-то там еще.

tetrimer Это на работе - мне сейчас точно не посмотреть.

R4SAS нету на 7ке SP2

R4SAS SP3 тем более

R4SAS тут только SP1

tetrimer Ну, значит нету.

R4SAS SP2 && SP3 были только на хрюше

R4SAS что то мне кажется что надо boost тоже пересобирать

R4SAS сокеты как то странно работают

R4SAS я сейчас чисто openssl пересобирал

tetrimer В общем дома у меня виртуалка с sp1 - на ней i2pd запускается. На работе - несколько разных пробовали: через пару секунд процесс пропадает из трея.

R4SAS я тебе даже скажу почему

R4SAS потому что там небось сборки от васяна

R4SAS у меня на работе спокойно всё работает

R4SAS либо у тебя на работе сисадмины мудозвоны, и систему не обновляют

tetrimer Запросто. Это же не рабочие системы, а для проверки: будет ли работать у клиентов.

R4SAS давать клиентам не обновлённую систему обычно черевато

tetrimer У клиентов - там все свое.

tetrimer Наше дело: сказать, что надо сделать, чтобы заработало.

R4SAS прелесть такая, что работает пожирая всего лишь 190 мб на всю систему. фф жрет еще 170 сверху

R4SAS даже меньше...

R4SAS paste.i2pd.xyz/?b044a35fa3f11c07#D9bvKwbvJKu8gxou84bwwT68cYtafQX7e4dgJ8Uob3Bq

R4SAS хе, фф на хрюше заскринил 102

R4SAS осталась картинка того, как оно выглядело когда то

R4SAS paste.i2pd.xyz/?ec6b6a614464ad68#2SMweb7R9AvxAey4NZ8BzkFj2HnuesyD4ArBKvTgbsih

R4SAS действительно пересборка boost решила проблему

R4SAS но всё равно как то тяжко оно работает

orignal будет время делать релиз через 2 недели?

R4SAS по факту будет видно

R4SAS пока что не могу сказать

R4SAS в любом случае всё как обычно делаем

orignal опять от атаки польза

orignal вылезли многие баги

R4SAS дед тоже у себя поправил?

orignal я не знаю что они делают

orignal по моему сопли жуют