#dev (ilita) | Обсуждение разработки I2Pd | i2pd development discussion | http://i2pd.website/

weko Побайтово? А как ты сделаешь? Побитово в том и смысл, что каждый раз отсекаешь половину. Или ты хочешь, чтобы всего несколько операций с байтом сделать, а потом идти по дереву?

weko Есть ещё идея

weko Она сделает добавление ещё дольше, но поиск ещё быстрее

weko Конкретно будет не n^2

weko Короче в каждую ветку пишем количество, сколько флудфилов внизу по ветке всего

weko И, например, если нам надо 5 флудфилов, а внизу по ветке 3, то мы можем брать эти все 3, не проверяя

weko Короче там можно много оптимизировать с n

weko Пока что это не нужно, потому что n максимум 3 пока что

weko Да, и кто то спрашивал - у джавистов сортировка

Vort вы там точно проверили, что замедление добавления не перебьёт эффект от ускорения поиска?

weko Так а на флудфилы куча запросов приходит

weko Больше чем добавление/удаление RI

weko А добавление и удаление они в худшем случае log m

weko Это в худшем

weko На практике оно очень быстрое

Vort добавление и удаление происходит в том же треде или в другом?

weko Должно быть в том по логике

weko Том же*

Vort тогда у меня должны быть данные по атаке

Vort сейчас покопаюсь

weko Ну тоесть я не уверен

weko Возможно можно сделать в другом

weko Там просто должна быть атомарная операция

Vort я о другом

Vort у меня есть собранные данные

Vort по одному треду

weko Не стоит лезть, пока не сделано, скажем так

Vort и я хочу понять, есть ли в этих данных информация о том, сколько жрёт добавлени и удаление

weko Удаление кстати там будет O(n) вроде... Там же вектор

Vort как функция добавления называется не помнишь?

weko Тоесть хэш таблица

weko Ой

weko Стоп

weko Список

weko Vort: я не знаю))

Vort NetDb::AddRouterInfo наверно

Vort ох. неплохо она жрёт. но есть один нюанс. похоже

Vort там основная часть времени тратится на работу с диском

Vort ED25519_verify много ест и возня с файлами. но это немного не то! надо найти именно работу с контейнером

weko Там наверное не отдельная функция

Vort m_Floodfills.push_back (r)

Vort наверно вот это

weko Да

weko Vort: насчёт диска да, это не только сам диск износит, так ещё и трата времени...

Vort такс. кажется, вижу, как можно измерить пропорции

Vort вот у меня есть результат профилирования i2p_isunreachable6.sleepy

Vort в нём 52% GetClosestFloodfill и 9% AddRouterInfo

weko И вопрос , сколько из второй функции работы с диском

weko Которую надо вообще в отдельный тред по хорошему выносить

weko Ну и желательно в памяти держать, и копировать на диск периодически

Vort (попозже напишу продолжение)

Vort кажется мне, что добавление идёт через функцию std::__1::make_shared<i2p::data::RouterInfo, unsigned char const*&, int&, void>

Vort которая потребляет 3.6%

Vort то есть, около половины от AddRouterInfo

Vort в итоге получается, если, гипотетически, удастся вывести потребление GetClosestFloodfill в 0%, то добавление в контейнер нельзя ухудшать более, чем в ((52+3.6) / 3.6) = 15 раз

Vort что там ещё с удалениями надо бы разобраться ещё

Vort закинул тот файл, который обсуждаю, - для истории: paste.i2pd.xyz/?c61a6398d70d134e#CHikZmFq8ErNU3sXeNyuo4MHCBA9couzPB5nZWCRYSq6

Vort данные там от 07.02.2023

Vort в дополнение хочу отметить, что эти данные касаются ситуации с атакой. без атаки распределение нагрузки на добавление/поиск, скорее всего, другое

zlatinb orignal> десятилетиями знать о проблеме с DHT <-- мистерия! Увидим если дед изправит... но перво надо налоги заплатить ))

weko заметил странную хрень - шёл трафик, и тут туннель помечается как failed. а по нему до самого последнего момента удаления шёл трафик, тоесть есть ситуации, когда туннель вполне себе работал, но помечается как не рабочий

weko и в конце концов иногда удаляется

weko увидел 360кб/c ... да ладно, блин, такое реально бывает (а не просто в транзитах цифорки)!

weko туннель был 2 хопа, насчёт сервера не знаю

orignal какие еще налоги?

orignal weko идея такая

orignal допустим у нас 4 узла дерева без ветвлений

orignal допустим первые два по 0 следующие 2 по 1

orignal так у нас будет записано 0xC0 и маска 0xF0

orignal Vort проверял добавление и удаление, столько же

orignal кроме того боавление и удаление происходит редко по сранению с поиском

orignal weko с тонеллем это тоже понятно

orignal failed получается когда пара тоннелей значит зафйелился второй

orignal ну или сообщние потерялось

weko я понимаю

weko я к тому что нужно улучшать эту систему

weko вообще как то продумать оценку качества туннелей

weko чтобы не было слишком плохих, например

orignal надо

weko тоесть вообще стоит думать как сделать лучше, тут много вариантов

orignal да тут вообще все улучшать надо

orignal Vort ты еще посмотри удаление и m_Floodfills

orignal а вот там сложность O(n)

weko я уже сказал об этом)

weko там же связный список

zlatinb orignal, налоги за те битки которие ешелон ему давал когда мьй в жаве работали по денгами ))

weko значит искать нужно

weko <~orignal> так у нас будет записано 0xC0 и маска 0xF0

weko не очень понял

orignal weko допустим у нас первые 4 узла дерева без ветвлений

orignal на 5 -ом ветвление

orignal тогда чтобы не держать эти 4 узла можно в корень записть что я сказал

weko ну вот конкретно что мы туда пишем я непонял

weko я предлагал просто количество, зачем усложнять?

orignal ты количество напишешт

orignal а как ты знаешь по какому пути идет бещ ветвлений?

weko так из самого флудфила на конце

weko да и зачем знать

orignal может идти по всем нулям

weko а понял зачем

weko ну из флудфила можно брать

orignal у тебя 2 хэша 11001 и 11000

orignal 4 одинковых и на 5 ом ветквление

orignal теперь тебе пришел 11011 что будешь делть?

weko а стоп, да я понял

weko хотя стоп всё равно можно брать из флудфила

weko любого причём

orignal флудфилы у тебя только на листах

orignal а на развилках нету

weko там можно же ниже пройтись за ним

orignal томозно

weko ну да наверное лучше хранить

Vort "<~orignal> Vort проверял добавление и удаление, столько же" есть тестовая версия с двумя алгоритмами одновременно + сравнение между ними? могу попрофилировать. ситуацию атаки, конечно, не воспроизведу, но хоть что-то

orignal считаю проще биты хранить и сразу побайно с маской сравнивать

weko ну да как вариант

orignal Vort нету тестовой

orignal я просто написал код котоырй кставляет 5000 случанях и туда и туда

orignal а потом ищет случайный

orignal и так в цикле 1000 раз чтобы можно было замерять

weko правильно, что тыщу раз. кэш процессора влияет всё таки

orignal ну они там случайные потом вряд ли

orignal то есть там код буквально 10 строк

weko не, кжш решает жёстко

Vort мне просто кажется странным, что добавление в дерево и в список занимает одинаковое количество времени. хотелось бы самостоятельно в этом убедиться

weko вот там в getbit есть константа например 0x80

weko да и вообще весь getbit скорее всего в кэше лежит во время теста

weko orignal: ещё может быть, что при рандомной работе (не подряд) будет дольше... если идёт подряд скорее весь код в итоге попадает в l1 кэш, а при рандомном вызове и в l3 не факт что будет

weko хотя учитывая равные условия, тест можно считать верным

Vort там важнее чтобы компилятор ничего лишнего не соптимизировал )

Vort а отключать оптимизацию бессмысленно

weko нет, он алгоритмику не может оптимизровать

weko только ассемблерный код

orignal Vort естественно не равное

Vort если он допрёт что его дурят и подсовывают константные входные данные. или что не вычитывают по-настоящему выходные данные, он может или константу подставить или вообще весь код выкинуть нахрен

orignal но значительноей разницы по сравнению с поиском я не выявил

Vort "<~orignal> Vort естественно не равное" тогда я не правильно понял эту фразу "<~orignal> Vort проверял добавление и удаление, столько же"

orignal вот удаление это более интересно

weko Vort: ну поянтно, но это не алгоритмика

orignal ну так я и говорю по замерам оодинаково

orignal реально понятно что разное

orignal но нас интересует практиское улучшение работы

Vort ну по моей оценке результат должен быть не хуже, чем в 15 раз :)

Vort "по замерам оодинаково" попадает в этот интервал :)

Vort хотя лучше если бы кто-то проверил мой анализ профилирования

orignal а ты знаешь соотношние числа поисковых запросов и вставок на типичном флудфиле?

Vort так как я вполне умею ошибаться

orignal я думаю там речь идет о тысячах раз

Vort orignal: нет, не знаю. и при атаке не знаю. есть только результат семплирования

Vort но семплирование - самое главное

orignal да нет в нормельном рещим

orignal естественно речь о флуфиле

orignal вот смотри

Vort какая разница сколько раз, если нужны разы*время

orignal допустим насобирали мы флуфдилов примерно тысячу

orignal они там сидят считай все время без изщзменений

orignal ну то есть само содержимое то меняет а адреса их нет

weko кстати прикол в том что при атаке будет примерно тоже соотношение

weko почему думаю сами поймёте

orignal но запрашивают их постоянно

Leopold_ wekos

Vort я понимаю, что для ситуации без атаки дерево больше подойдёт

Vort но начали мы разбирательство всё-таки с атаки

orignal поэтому если сторго рассуждать то вставка это даже не контантое время

Vort и хотелось, чтобы в такой же ситуации не было ухудшения

weko кстати прикол в том что при атаке будет примерно тоже соотношение

weko почему думаю сами поймёте

orignal это вообще можно считать "иницаилизаций"

orignal один раз их туда загрузили при старте и все

orignal таблица почти статическая

Vort "будет примерно тоже соотношение" у меня есть ещё данные. сейчас проверю

orignal иногда коне=чно добавлябтся и выкидыватся но это редко

orignal то что в список обычных роутерех добавляется и удаляется это понятно

orignal но там и хэш а не список

orignal иными словами для списка флудфилы поисковые запросы доминируют

Vort лол. на моих данных без атаки ни разу AddRouterInfo не попался. сейчас соберу побольше. попробую точнее

weko смотри именно количество

weko а не процессорное время

zlatinb ели ели нашел пост где обсуждаем "compensation"... продолжу искать... zzz.i2p/topics/2503?page=1# мой комент №3

zlatinb дед хорошо зарабатавал и налоги не заплачивал тогда... нехорошо так

orignal zlatinb так а к чему это все?

zlatinb просто так, возможно он просто будет очень занят пока налоги изправиться чтоб чинить DHT ))

Vort собрал данных за 200 секунд. GetClosestFloodfill 2.35%, AddRouterInfo 0.75%

orignal это на флудфиле?

Vort да. без патча

Vort но надо ещё глянуть сколько там доступ к файлам

Vort там же не только список

orignal AddRouterInfo включает в себя проверку подииси или только вставку?

orignal zlatinb а чего тебя вдруг стала волновать тема уплаты налогов?

Vort std::__1::make_shared<i2p::data::RouterInfo, unsigned char const*&, int&, void> 0.58%

orignal Vort еще есть GetClosestFloodfills

orignal когда адрес не найдет и флудфил отвечает ближайщими

orignal вот эта функция вообще жесть

orignal а откуда там доступ к файлам?

Vort проверка подписи оказывается изнутри make_shared вызывается

orignal там его быть не должно

zlatinb "вдруг"? Я всегда бьйл очень аккуратной с налогов и всем говорил, особенно деда что нельзя хитреть. Но они меня не сльйшали...

orignal Vort она вызывается внутри конуткрутора

orignal zlatinb ты меня прости конечно но мы налоги и правительства на хую вертели

orignal потому мы и занимаемся i2p

Vort доступ к файлам идёт из i2p::fs::Exists

orignal а зачем он там вызывается?

zlatinb orignal, вьй конещшно анон, а я нет.

orignal надо разобраться

orignal zlatinb а причем тут дед.

Vort "а зачем он там вызывается?" i2p::data::RouterProfile::Load

zlatinb Ну я тек немножко обидился что мой голос бьйл снатой из #i2p-dev & #ls2 и решил сказать правду про денечний вопрос в reddit.

orignal а зачем Load если пришло по сети?

orignal zlatinb так в чем правда то? что он не платил налоги? ну так молодец если так

orignal если бабки зажопил и не заплатил тому кому общеал тогда не молодец

Vort "а зачем Load если пришло по сети?" я хз откуда пришло, смотрю вообще все вызовы i2p::data::NetDb::AddRouterInfo. как глянуть чисто по флудфилам - не знаю

orignal Vort понимаешь логику? для RI пришедшего по сети Load вызываться не должен

orignal Load вызывается только при старте

orignal когда идет загрузка базы

Vort ну я явно не старт профилировал

orignal еще он вызывается когда например его запросили

zlatinb бабки/битки у ешелона всегда сидели; но все равно когда человек получает заплату он должен налоги заплачивать.

Vort значит опять какую-то хрень нашли

orignal zlatinb не должен

Vort ну так, может, и запросили

orignal правительство идет на хуй

Vort короче. просто стек покажу

orignal так когда запрашивают то AddRouetInfo не вызыается

orignal там вызывается PopulateRouterInfo

Словесник-Былинник утром, тоже самое в адрескниге с б32 труса

orignal zlatinb кстати ты может и за софт и контент платишь? ))

Словесник-Былинник как наказание :)))

zlatinb ну если так тогда молодец.. увидем что правительство скажет ))

Vort вот стек paste.i2pd.xyz/?9af4216e154ccbf4#J3yf8NrZ8zLjhzyXuV2M9eBB5BxUBfdagZiCfLcovFbX

orignal то есть ты хочешь настучать на него?

Vort коммит самый свежий

orignal Vort тепреь понятно

orignal это профиль подгружается

orignal не сам роутер

zlatinb Я его не буду прятать, он мне болше не друг.

orignal ну так ты скажи ты собиаешься настучать или нет?

Словесник-Былинник orignal : если я хочу подписку только с рег.и2п то иозменить дефаулт ц у2пд конфиг на что ?

Словесник-Былинник или инр.и2п оставить ?

orignal там reg.i2p по умолчанию

zlatinb Болше стучать не надо. То что я написал в reddit останется. Если наложние заинтересуются, я не буду врать.

Vort "<~orignal> Vort еще есть GetClosestFloodfills" GetClosestFloodfills 1.14% ест. против 2.35% от GetClosestFloodfill

orignal inr давно сдох

orignal Vort с профилем это хорошая находка

Словесник-Былинник orignal : там написано инт.и2п по умолчанию в комментах.

orignal какой то у тебя старый конфиг

Словесник-Былинник orignal : как сделать так чтобы только рег.и2п был и все

orignal ("addressbook.subscriptions", value<std::string>()->default_value(

orignal "http://reg.i2p/hosts.txt"

orignal )

orignal вот так

Словесник-Былинник какая разница если старый ? все одно там все по дефаулту

Vort NtCreateFile 0.18% всего. не много, не мало

orignal а по дефолту reg

orignal Vort все равно дергать фс так себе идея

Словесник-Былинник тогда рег ебанный онкретно

Словесник-Былинник струс старый былез сегодня

Словесник-Былинник автоматически

Vort ну понятно. думаю, стоит начинать с самых жирных процентов просто

orignal так посмотри что на рег счас

Словесник-Былинник я не буду каждый день менять б32

Словесник-Былинник просто принципиально

orignal Vort начинать надо с выпиливания обращения к файлам в люьом случае

Vort если файл не в кеше, то это печально, да

orignal так попроси R4SAS -а там вручную поправить

Vort минимум один IOPS

Vort а их мало на HDD

Vort упс, криво сказал. минимум один доступ то есть

orignal я поправлю

orignal zlatinb я тебе просто скажу. стукачей у нас тут не любят

Vort в общем, не знаю, сколько там именно по количеству отношение, но по процентам CPU получается добавление где-то в 3-5 раз меньше сейчас ест, чем поиск

Vort то есть даже если это и намного реже, влияние всё же существенное

Vort так что сильно жиреть функции добавления нельзя

Vort вроде и не планируется по результатам теста дерева, но всё же

orignal ты забыл про проверку подписи при добавлении

Vort плохо разве что то, что я отдельно для флудфилов не смог доабавление отследить

zlatinb Понимаю orignal. Пойму риск чтоб меня не любили.

orignal а она там наверное 90% времени берет

Vort не то чтобы особо забыл. сейчас скажу что там

orignal а ну так в этом дело

orignal для роутеров доваление и удавление вызывается часто

orignal для флуфдфилов редко

orignal потому что их список почти постоянный

Vort проверка подписи - 56% от добавления. то есть, в общем - ED25519_verify - 0.44%

R4SAS Словесник-Былинник: так ты врубал логи или нет?

Словесник-Былинник i2pd net ?

orignal немало

Vort "<~orignal> для флуфдфилов редко" когда была атака, то, судя по всему, часто вызывалось добавление именно флудфилов

R4SAS ну так а как тогда будем ловить откуда оно берется?

Словесник-Былинник у меня абсолютно новая и2пд все занава со вчера... и все равно ночью ебучий старый б32 труса

Vort при нормальной работе понимаю, будет редко. но при нормальной работе там тред жрёт копейки

R4SAS мне кажется что ты куда то себе впиздюрил добавление записи

Словесник-Былинник сначала вопрос.. почему у меня ?

R4SAS может в сам ejabberd

Словесник-Былинник хотя я только осин кто с ним общается

Словесник-Былинник жаба не делает ошибок

Словесник-Былинник 1.

Словесник-Былинник 2. причем тут адресбоок

R4SAS я не про ошибки

R4SAS я про кастомизации

Словесник-Былинник кабе

R4SAS ну тогда пиши логи

Словесник-Былинник адресбоок то причем ?

R4SAS я не могу тоже тебе ничего сказать ибо БД одна

R4SAS с экспортные листы пишутся с нее

Словесник-Былинник легче труса попросить сделать другое адреса

Словесник-Былинник :)

R4SAS при чем адрес в бд корректный

R4SAS алё

R4SAS тебя это не спасет

Словесник-Былинник spaset

R4SAS у тебя любой адрес будет перезаписываться в старый

Словесник-Былинник нет .. только его

Словесник-Былинник я проверял

R4SAS orignal: можешь проверить b64->b32?

R4SAS reg.i2p/jump/xmpp.trus.i2p

R4SAS в экспорте тоже адрес верный

R4SAS reg.i2p/export/hosts.txt

R4SAS в коротком спике его нет, так что он там и не появится

R4SAS который reg.i2p/export/hosts-basic.txt

Vort что там с адресом такое?

Vort какой должен быть?

R4SAS Словесник-Былинник: у тебя там случаем subscriptions.txt не лежит?

Словесник-Былинник кинь мне и2пд.конфиг как он идет с последней версией

Vort у меня лежит csi5mxasdw4vhn57rmeheiz3gfvev2h4r2vpoiow52mjrsxdqokq.b32

Vort это новый или старый?

R4SAS это старый

R4SAS текущий 4xok4i2sizsfbfny3fdyj4lpntueoxb2sjn4oaw2y6mixcxlzpeq

Словесник-Былинник stop

Словесник-Былинник problema ispravlena

R4SAS github.com/PurpleI2P/i2pd/blob/openssl/contrib/i2pd.conf#L236-L241

Словесник-Былинник subscruptions /txt

Словесник-Былинник да бил

Vort у меня файл от 21.01.2023

Словесник-Былинник стерет ьего нахуй или толь ког рег оставить ?

Vort на сайте написано Added at: 2023-01-17

R4SAS стирай

Vort с чего это у меня 21го появился старый файл?

Словесник-Былинник ну так вот.. это все обьяснает логически на 100%

Словесник-Былинник теперь ясно откуда тащило .. из статс и другой ява говноделки

orignal что прверить?

Vort а всё, я тупанул

R4SAS надо нахуй вырезать его. уже 6 лет как deprecated

R4SAS github.com/PurpleI2P/i2pd/commit/470a6f0ab2ba189e034adfd676b23b82bf8543b8

orignal не надо ))

orignal я его использую везде

R4SAS ничего, перепишешь в конфиг

orignal Vort я убрал дерагение профиля на каждый новый не флудфил

orignal теперь только касается флудфилов

orignal а у них профили будут почти всегда загружены

weko да можно и нужно всё в памяти держать, а оттуда дёргай сколько надо

weko дёргать*

orignal память лишняя

orignal далеко не все роутеры в netdb когда либо требуются

Vort "я убрал дерагение профиля на каждый новый не флудфил" - потестирую

weko <~orignal> далеко не все роутеры в netdb когда либо требуются

weko значит нужно грузить нужные в соответсвии с профилями

orignal так я так и делаю

orignal подгружаю буфера и профили по мере необходимости

zlatinb zzz, oh boy how quickly the policy on zzz.i2p changed to require the user to be logged in before they can search. Too bad I already have 1 or more URLs where YOU discuss "funded" team members.

orignal I remeber it was like this from day one

zlatinb zzz, also, I have in my local archive emails signed by YOUR GPG key where we discuss compensation.

zlatinb orignal, well I don't. In fact 30 minutes ago or so I was able to search WITHOUT being logged in.

zlatinb If everyone on I2P ends up hating me, I will take that with pride. You're going down zzz, and the more you try to avoid it the worse you dig yourself in.

zlatinb You all know who I am and who I work for. Don't fuck with that guy. I'm friendly to the #ru crowd NOW, but there are no promises this will last forever.

zlatinb Adios.

Vort сделал ещё одно профилирование, минут через 10 после перезапуска. получилось GetClosestFloodfills 1.32%, GetClosestFloodfill 1.14%

Vort AddRouterInfo 0.48%

orignal столько же

orignal вопрос по части обращения к файлам

Vort похоже, что GetProfile теперь в 2 раза реже из AddRouterInfo вызывается

orignal да

orignal он теперь только для флудфилов

Vort жрет там, правда, больше всего - make_shared. и, до меня только сейчас дошло, что это, по сути, обёртка над конструктором

orignal ну да жрет конструктор потому что проверка подписи

Vort где ж тогда добавление в коллекцию? пропустил я его значит

orignal строка 324 NetDb.cpp

orignal и строка

orignal 332

Vort наверно, такая мелочь, что профилировщик его вообще не заметил

Vort ну или глючит что-то

orignal там и должно быть 0

orignal в 324 поболее потому что вставка в хэш

orignal неупорядоченный

Vort я думаю, может, компилятор развернул push_back прямо внутрь AddRouterInfo

Vort гляну что там в асм коде

orignal скорее всего

orignal там же чисто хедер

Vort есть в коде и push_back и insert. не попадают в результат или потому что вызываются очень редко или потому что профилировщик кривой

Vort он почему-то все перегрузки функции AddRouterInfo показывает как одну функцию

orignal так они и должны редко вызываться для флудфилов

Vort окей, значит, я неверно оценил процент загрузки CPU от добавления в коллекцию

Vort он получается около нуля

Vort значит, надо будет просто смотреть, появится ли заметное потребление у добавления в дерево

Vort по поводу удаления: там какое-то очень длинное название, поэтому не уверен

Vort но если я правильно его опознал, то удаление ест в 123 раза меньше, чем конструктор

` Или мне прёт на "новом роутере", или скорость на 2.46.0 лучше.

Vort ну так. пункт "11. Select first hop from high bandwidth peers for client tunnels"

Vort вот и лучше

` Что насчёт "какера"? С обновлением пропал или #самушол?

Vort кто же знает сколько их было

Vort тот, который пришёл 19 декабря, или ушел или поменял тактику

Vort я скидывал скрин с 6к ушедшими узлами

` Меняжнебыло, интересно когда отпустило сеть. До обновления 2.46.0 или раньше.

Vort но вот хоть тот и ушёл и хоть новых засираний RouterInfo не было, TCSR всё равно не вернулся на прежние значения

Vort количество транзитов тоже не вернулось

Vort часто атаки убралась до релиза. но после некоторых исправлений

Vort часть*

Vort часть, видимо, активно и сейчас

` флудфилось часть убило что ли? Что-то у меня еле-еле тыща набирается. раньшебыло больше..

` флудфилофф*

Vort нет, те 6к - это была особая группа

Vort не флудфилы, unreachable и скорость L

Vort свалили они 14 февраля

` да сейчас гаварю количество флудфилофф лично у меня меньше чем когда-либо

` убило что ли

` 14 февраля, ок

Vort похоже что юзеры испугались и повыключали

` Условно выражаясь раньше у меня из всех роутерофф была 1/3 флудфилофф. А теперь 1/4.

Vort да я тоже вижу снижение количества

Vort хотя, может, это иллюзия

Vort я пока что плохо понимаю как оценивать общее количество узлов в сети

Vort тот же i2p-metrics как показывал 3 тысячи флудфилов месяц назад, так и сейчас 3 тысячи показывает

` Тем не менее [у меня] сейчас 36% и откланиваюсь (AFK)

polistern А чего сами метрики не собираете?

` polistern, о, как pboted?

polistern Много идей, мало времени)) Скоро вернусь к нему.

` polistern, ждём-с, очень ждём-с.

Vort я пока что решился только на сбор загрузки CPU у процесса i2pd :)

polistern А чего ждём-с? Работает же.

Vort кстати, вернулось значение на уровни до атак - 2%

Vort во время атак же CPU процентов до 30 прыгал (одно ядро на 100% + ещё по мелочам)

polistern 9,99Vort,99,99 через I2P Control дофига можно собирать. Я метрики over-I2P гоняю)) Можете поднять базу, типа influxdb, и отправлять кому-то одному, например. Тогда выборка больше будет.

polistern Часть можно парсингом вебморды собрать.

Vort может, когда-нибудь доберусь

Vort веб-консоли, кстати, потокобезопасности не хватает

Vort получить креш из-за сбора статистики совсем не хочется

Vort насколько хорошо в этом плане работает I2P Control пока ещё не смотрел

polistern Ну слушай, за 3 года ни разу не падали по этой причине.

weko [17:20:48] <Vort> но вот хоть тот и ушёл и хоть новых засираний RouterInfo не было, TCSR всё равно не вернулся на прежние значения

weko Он и был до декабря такой

Vort около 30-40% ?

Vort когда же тогда 60-70% было?

Vort количество транзитов тоже не вернулось

weko Раньше

Vort даже в декабре, по-моему, было 1-2к транзитов

weko И начал понижать именно при введении ssu2

Vort сейчас ниже 4к сложно увидеть

weko Возможно он виноват

weko Так юзеры пришли и TCSR выше

weko У меня около 6к крутиться

Vort не пойму какое отношение "юзеры пришли" имеют к TCSR и количеству транзитов

polistern 60-70% было, когда только i2pd с SSU2 были, с месяц где-то. Как в массы пошло начал падать обратно.

weko Vort: прочитай ещё раз

weko Кривой сказал

weko Потому что TCSR ниже и потому что юзеры пришли

weko Это объясняет достаточно

` Кстати интересное наблюдение которым захотелось поделиться/"флудануть". Уже сри месяца кто-то днём и ночью пингует .b32.i2p адрес моей RetroShare(c)(R)[TM] ноды.

` (программа сообщает особым уведомлением, когда какой-то не-RetroShare'ц пингует/пытается_подключиться к моей ноде не через RetroShare)

weko Может кто то из ретошары

` Таких кэйсофф не знаю.

` Я "срал" своим сертификатом за пределами оной, так что может и "заслужил".

Vort weko: ты не пояснил, какое влияние на показатели имеет то, что пришли юзеры

weko Vort: я тебе уже говорил

weko Больше юзеров - больше туннелей

Vort суммарно - да, но не на юзера

Vort каждый юзер транзиты как использует, так и предоставляет

Vort в среднем, конечно

Vort но средние юзеры и пришли

weko С чего ты решил что средние

weko Как раз таки нет

weko Много юзеров приходит когда реклама

weko А юзеры с рекламы обычно5 хомячки

Vort сейчас гляну, может, можно по metrics понять

` Новости обновления I2P вроде нигде не видел.

` По крайней мере про i2pd не видел. За жавой не слежу.

Vort не уверен, можно ли считать флаг X признаком наличия желания помочь сети

Vort но если можно, то вот наложение двух графиков: общее количество роутеров и роутеры с X флагом:

Vort paste.i2pd.xyz/?86b969effb856895#7mpDKV8KQ4tK1SCYMa8x2LpTjoTTQFMn8tymBQBWrBsQ

Vort синий пунктир - общее количество, розовая сплошная линия - X роутеры

Vort X прибывает даже быстрее, чем общее количество

` Хотелось бы ещё видеть флаг по которому можно понять сколько транзитофф роутер может/хочет принять.

Vort так что похоже, что новички довольно активные пришли

` То есть количество транзитных туннелей.

polistern Посмотрела графики за год. Повышение TCSR до 60-70% было с апреля по май. Дальше только снижение.

Vort polistern: спасибо

` До ввода SSU2, внезапно.

` )00

Vort что же такого SSU2 сделал?

Vort у меня подозрение, что сеть могла стать быстрее именно по скорости, но эта скорость привела к повышенному потреблению ресурсов и их стало не хватать

polistern Это релиз с SSU2, а так он уже в транке давно болтался на тот момент. Джависты выпустили одновременно?

polistern 1.8.0 Release - 2022-05-23, а значит подтянулась и джава. Т.к. это у нас любители из сырцос собрать, у них централизованее обнова идёт.

Vort `: мне кажется, что желающих принимать транзит можно определить просто попытками через них строить туннели. писать такой код, правда, морочливо

Vort зато можно понять, чего стоит, допустим, флаг X

weko [18:43:58] <58afb3Vort> у меня подозрение, что сеть могла стать быстрее именно по скорости, но эта скорость привела к повышенному потреблению ресурсов и их стало не хватать

weko Скорее - стало чаще упираться в лимит, а когда упор в лимит, туннель не строится

Vort в лимит по трафику или по количеству?

Vort или и то и другое?

weko Трафику и количеству

Vort вполне вероятно

weko Количество как следствие (про цикл я уже говорил)

Vort интересно, что было первоначально

weko Правда цикла как такого не будет, потому что есть лимит на скорость создания

Vort наверно всё же трафик

weko Я думаю вообще гадать смысла нет, слишком мало вариативности данных

weko Мы видим только следствие, а причину не видим. Хотя причины могут быть разные, и могут быть несколько

Vort хотя всё равно непонятно, почему при жирных туннелях в декабре было меньше количества транзитов. сейсас с трафиком полегче, а туннелей намного больше. ну так с моего узла видно

Vort "(про цикл я уже говорил)" - сильно мешает он пониманию ситуации, к сожалению. но ничего не поделать, такая архитектура

` У меня на определённом уровне ("высоком") траффика роутер начинал разываться в плане создания новых туннелей. По крайней мере так было несмесяца жва назад.

` То есть мой роутер может вывести условно 100500 транзитных туннелей, условно, а вот когда они начинают гонять трафик выше определённого порога..

Vort я когда следил за этим эффектом, приходил к выводу, что иногда эти явления связаны, иногда - нет

Vort бывало много трафика, мало туннелей и бывало мало трафика, много туннелей

weko Гадание по кофейной гуще.

orignal ` может это notbob тебя пингует?

` orignal, вряд ли, с какой стати ему меня пинговать..

orignal он всех пингует

orignal потому что он делать как reg ниасилил ))

` Яж не публиковался как сайт, нигде. Только как сертификат RetroShare(c)(R)[TM]

orignal значит сама ретрошара

` Когда был переход с одного типа шифрования на другой, то legacy/deprecated просто теряли со мной связь. Никаких уведомлений якобы пингов не через RetroShare как сейчас.

` С чем это сейчас связать кроме пингла чем-то сторонним - даже хз.

` кроме пинга*

Vort можно посмотреть сколько пингов на обычный клирнет адрес приходит

Vort вроде даже термин есть что-то типа "шум сети"

Vort не вижу причин чтобы для внутреннего адреса i2p было как-то иначе

Vort он ведь известен какому-то количеству других узлов

Vort значит, по сути, публичен

Vort может, кто-то научную работу про юзеров ретрошары пишет :)

` Vort, с заголовком: "Зачем? Ради чего? Ради любви? Почему они продолжают упорствовать".

` (отсылочка к матрице)

weko Так можно про всех i2p юзеров сказать.

` Выщелкнуло посона

Vort `: кстати, по поводу перегрузки роутера от трафика - были некоторое время назад коммиты, улучшающие работу SSU2. потестировать толком не получилось, правда, так как ушли жирные транзиты и пришла атака

orignal там еще момент какой

Vort но есть надежда, что SSU2 теперь будет меньше CPU жрать

orignal Vort это не SSU2 жрал я думаю

orignal дед мне сказал одну вещь

Vort ну перегрузка SSU2 треда была

orignal они RouterInfo посылают для публикации через тоннели шифрованными

orignal а сейчас рашифровка идет в том треде откуда прилетело сообщение

Vort так я же делал профилирование и было видно, куда CPU уходит

Vort и это была не криптография

` Кстати я сегодня шерстил i2pd.конфиг и читая ш2зв_доки_en наткнулся на информацию, что "входящие соединения через SSU2 отключены бай-дэфаулт с 2.43.0".

` ето так?

` код не чекал

Vort и ещё это было до засирания RI

Vort `: ссылку можно? не нашёл

Vort когда же была атака RI, то CPU уже не SSU2 жрал, а NetDb

Vort точнее, мог жрать и SSU2, но на фоне NetDb это было мелочью

orignal ` уже включены

` Vort, всё, отбой, weko недели две назад исправил описание. А я две недели не обновлялся как раз.

orignal Vort вроде на CreateAckBlock?

Vort вроде. но с тех пор было много исправлений. так что нынешняя ситуация неизвестна

Vort сейчас я горбов от SSU2 не вижу. специально поставил логирование CPU 24/7

orignal но это все равно надо делать

orignal рашифровку на отдельном треде

Vort может, это значит, что просто нету жирных транзитов, но, скорее, исправления помогли

orignal раз они гонять щифрованные роутеры

Vort по-моему когда нету риска упирания в 100% ядра, то лучше не трогать

orignal зачем нам криптографией затормаживать весь тред?

Vort так как на сихронизацию между тредами обычно тратятся ресурсы

orignal он же тысячи соединений обслуживает

Vort думаю, зависит от того, сколько синхронизация ресурсов съест

orignal мизер

orignal вставка в очередь

Vort тогда можно и выносить. хотя я хз что сейчас приоритетнее

Vort дерево наверно вначале лучше доделывать. ну так мне кажется

orignal дерево разумеется

Vort оно, небось, важнее даже не для i2pd, а как пример для java :)

orignal да дед вряд ли станет его делать ))

Vort а зря

Vort пока что это выглядит очень полезным изменением

Vort а как выйдет в реальности - посмотрим после тестов

Vort если у меня i2pd станет жрать не 2% CPU, а 1% - это, конечно, хорошо. но если java перестанет дропать туннели - то будет в разы лучше

` Соотношение роутерофф к флудффилам 5:1, кста..

` #РаньшеБыло 1:3

` Тьфу, то есть * 3:1

Vort почему на metrics этот эффект не виден?

Vort у меня соотношение 8:1 кстати. может, потому что у меня сейчас флудфил?

` У меня "обычный" на расистском айпи. Явно выбивается разница, "никогда такого не было".

Vort согласен, что странно. но я пока не понимаю, как относится количество Floodfills: в консоли к их общему количеству в сети

Vort поначалу я думал, что как и Routers:, это какая-то пропорция. потом думал, что это все флудфилы отображаются. теперь не знаю :)

` *** rebooting ***

` Ещё заметил что на 2.46.0 после рестарта (пока не часто стартовал с нуля, по этому только про рестарт) заметно быстрее строятся туннели.

` WEB Console на некоторых туннелях чуть ли не сразу же показывается уже имеющиеся "цепочки".

Vort тоже, наверно, следствие "пункта #11"

NICKNAME здравствуйте

NICKNAME можете предкомпелировать мне библиотеку одну под андроид, пожалуста

NICKNAME ?

NICKNAME у кого есть много времени и желание и мотивация и нету личной жизни желательно

` JayZeeeeeeee, #ППШ

JayZeeeeeeee ` github.com/PurpleI2P/i2pd-android/issues/57

JayZeeeeeeee нужен либо user-config-ndk19-1_78_0.jam для boost (для android) рабочий. либо предкомпилированная либа под 21.4.7075529

not_bob /win 1

orignal hi

weko Hi

orignal Tunnel creation success rate: 74%

orignal однако

weko Это без транзитных

weko А с транзитными хуже

weko Leopold вообще говорил, что у него 80% было

orignal да без них

weko Это был даже не вопрос)) мы ведь оба знаем, в чём дело

orignal естествено ))