#dev (ilita) | Обсуждение разработки I2Pd | i2pd development discussion | http://i2pd.website/

orignal G go away

hgulo orignal: кстати, там по-моему репа для фдроида прилегла, ибо при попытке добавить fdroid.i2pd.xyz/fdroid/repo он пишет, что ему не удалось получить архив

hgulo надо чёта делать

orignal так это не я это R4SAS

hgulo к разговору недавнему о портабельности i2pd - на самом деле реально достойная уважения портируемость, на Кислице помнится кто-то его собрал даже на Haiku

hgulo ща поищу тот тред

hgulo kislitsa.i2p/i2p/63950/#63950

hgulo orignal: видал? =)

orignal что там?

hgulo вестимо, что тред про ш2зд на Haiku, как бэ

orignal я знаю что собирали

user orignal, объясни, я не совсем понимаю логику работы зондирующих туннелей. Если я, допустим поставлю их в 0 хоп. Что сможет выяснить атакующий, мой IP, и то что я использую i2p? Так это и так известно. У всех сервисов (http, irc, sam...), как я вижу, свой

user атор, отличный от остальных.

orignal а что ты назондируешь 0 хопами?

orignal их роль простая

orignal через них ищут новые роутеры ("зондирование")

orignal и смотрят работу роутеров в самих тоннелях

orignal потому что их строят через говенные роутеры

user Т, е их лучше ставить той же длины, что и "рабочие" туннели?

user От 8хоповых толку будет не больше?

orignal обычно они длиной 2

orignal короче их без нужды не следует трогать

user А ширину канала узла, через который они строятся они измеряют?

user Или только задержки

user Или где почитать можно подробнее

user Я whitepaper на i2pd не нашел

orignal нет

orignal поищи у джавистов на geti2p.net

orignal да их основная функция новые роутеры искать

user Я кажется понял, когда пир публикует свой лизсет на флудфил, он потом делает запрос на "соседний" флудфил, для проверки получилось/нет, и если эти два флудфила контролируются злоумышленником и у тебя 0хоп, то с высокой вероятностью те

user нозначно идентифицировать.

user Я правильно понял?

orignal если у тебя 0

orignal то злоумышелннику не надо ничего контролировать он сразу тебя видиь

orignal в лизсете адрес роутера конца тоннеля которым являешься ты сам

user Тут вроде как неоднозначно, может я просто последний хоп

user или не так

orignal однозначно

orignal в лизах будет один и тот же адрес

orignal 0 это 100% деанон без вариантов

orignal его используют если тебя не нужна анонимность

orignal а флудфилы без разницы кем котролируются у тебя запросы и ответы все равно через тоннели идут

Guest19667 0 hop can be useful if you want speed.

user Через зондирующие?

orignal нет

orignal через свои собтсвенные

user Я публикую лизсет как?

orignal через зондирующие иногда роутера

orignal у адреса свой набор тоннелей

orignal через которые ты и публикуешь лизсет

orignal а концы входящих тоннелей у тебя в лизсах будут

orignal not_bob he also wants anonymity )))

not_bob Короткие туннели этого не позволяют.

not_bob But, short tunnels can still be useful.

user Т.е. публикую всё таки не через exploratory а проверяю через них

orignal проверяешь тоже через свои

orignal зондирующие они даже для публикации используются редко

orignal только если у тебя нет свзяи с флудфилом напрямую

orignal например ты на ipv6 а у флудфила только ipv4

not_bob Anyay, need to go on my end. Thank you all for your dedication and hard work. пака

user Короче для проверки/публикации они, в основном, не используются, а если используются, то очень редко

orignal правильно

user Значит их нужно ставить в 1 хоп

orignal зачем? чем тебе 2 плохо?

user Каждый хоп это +1 транзит на каком-то узле

user А там лимит 5000

user Выжирает лимиты

user =)

orignal об этом не волнуйся

orignal ниче не выжирает )))

user Ну канал нет, а количство да

orignal раньше вообще было 2500 и всем хватало

orignal счас такое количество чисто из-за атак

R4SAS hgulo: там версия репы старая

R4SAS вот и вся причина

R4SAS последние версии фдроида начали использовать какой то новый вариант, который не поддерживает старые репы (дебилы...)

hgulo R4SAS: фиксить в ближайшее время планируешь?

orignal ну что ждем пару часов?

user Началось

orignal четко по расписанию

user Было 1300 фф, потом медленно упали до 1000, а потом пошел резкий рост

user Routers: 15781 Floodfills: 2327 LeaseSets: 102

orignal у меня чуть выросло счас уже почистилось

relaybot 13mauzer: Routers: 2235 Floodfills: 1517 LeaseSets: 6

relaybot 13mauzer: Client Tunnels: 45 Transit Tunnels: 84

relaybot 13mauzer: 10 минут аптайма

orignal счас попрет вверх тыс до 3-х

user tcsr 23->21

orignal ну это само собой

orignal будет и 3-5%

user FF up to 3100 -> 2200

user CPU is jump to 90-100%

user mem 173m

user 182

user 208

orignal ну это понятно

orignal куда девается память еще предстоит разобраться

orignal а так по моим ощущениям эффективность атаки близка к нулю

relaybot 13mauzer: пока полёт нормальный

user Примерно через час после начала роутеры и фф резко пошли вверх. Либо напор усилился, либо я утратил возможность их проверять, возможно из=за проблем с построением исходящих туннелей... Ну и, конечно, меня смыло.

user Сейчас медленно снижаются

user Всё стабилизировалось

Vort интересная картина по загрузке CPU

Vort начало в 2 UTC подтверждаю, а дальше через 2 часа вроде как уменьшилась нагрузка

Vort но вижу у себя что количество Floodfills прыгает, так что атака на месте

Vort по netdb волна вроде выглядит так же, как и 2 предыдущие

Vort а вообще нет

Vort они, похоже, запустили смесь из клонов с подменой s и i и без подмены

Vort Floodfills: 1066. похоже, атаки уже нету

develion киньте ссылку на спеку ntcp2

develion а то я захожу geti2p.net/spec а там только пишут NTCP - obsolete

Vort develion: geti2p.net/spec/ntcp2

develion благодарю

weko [19:28:57] <Vort> я думал что они банят когда под нагрузкой

weko [19:28:59] <Vort> а не просто так

weko Уже много раз говори что у них бан за каждый чих. Да и понятие "избегать перегруженных" - 1) новое (обновляется сеть медленно) 2) не факт, что работает как надо

weko [19:36:27] <Vort> измерить бы, отбалансировать нагрузку. мечты.. ну, может, когда-то и будет

weko Не мечты а профилирование. Уже достало повторять, чесслово.

weko [19:46:59] <Vort> хотя сейчас вроде волны нету

weko А при чём тут волна?

weko [19:56:32] <l13kdsa> Хм, чисто теоритически, часть пользователей ушла на жаву, так что таких роутеров наверняка прибавилось

weko Теоретически у i2p миллиард пользователей.

weko Сомневаюсь, что это имеет хоть какое то значительное число

weko [20:17:38] <l13kdsa> 47 established 31 failed

weko [20:18:44] <l13kdsa> 44 established 41 failed

weko Не пытайся анализировать рандом

weko [23:29:39] <user> Т, е их лучше ставить той же длины, что и "рабочие" туннели?

weko Можно любой. Но лучше не усердствовать, стабильность при большом количестве хопов врядли будет

Vort weko: как профилирование определяешь? сбор информации о "качестве" узла?

Vort "<weko> Не пытайся анализировать рандом" вредный совет

Vort с рандомом надо просто уметь работать

develion да как же люди читают эти спеки, там столько солей что наркоманы позавидуют. "придержите H для kdf второй масаги", пытаюсь разобраться какой data layout у этого всего и ломаюсь

Vort develion: вот из-за этого я иногда говорю, что у I2P нет документации. потому что хоть она и есть, но записана уж очень закрученно. структуры не хватает

develion нет, спека нормальная, они такие у всех

develion наверное надо через entity-component-system делать

develion появился новый кусок данных - добавить компонент

Vort может конкретно про NTCP2 и лучше написано, но я когда я пробовал читать про SSU2, то ощущение было что все части текста связаны со всеми. это неудобно для обучения. нужна как бы точка входа

Vort хотя бы перечисление основных терминов с краткими определениями

develion ну так книги по криптографии и функции, заимствованные из готовых библиотек

develion всякие альгамалы и дифи-хеллманы, шашмаки имеют отдельную документацию и отдельные реализации

Vort так я ж не говорю, что понять невозможно. но крайне неудобно

develion проблема в том что это мы глупые и не имеем практического опыта разработки сверху-вниз

Vort там и со специфичными для i2p терминами не лучше

Vort не имеем опыта распутывания запутанных описаний? :)

Vort я просто не считаю это нормальным

Vort хотя лучше так, чем никак, конечно же

Vort вот для примера взять что-то из веба. думаю, читаться будет намного проще. RFC даже какой-нибудь

Vort и не из-за того, что тема проще. а именно из-за структурированности

Vort от простого к сложному, от общего к частному

develion просто код надо начинать писать прям с середины, откладывать фаршмаки и детали на потом

weko [00:21:25] <e90d7fuser> А там лимит 5000

weko Не обязательно

weko [03:38:23] <user> Примерно через час после начала роутеры и фф резко пошли вверх. Либо напор усилился, либо я утратил возможность их проверять, возможно из=за проблем с построением исходящих туннелей... Ну и, конечно, меня смыло.

weko Гавномёт на тебя перешёл

weko [06:08:05] <Vort> weko: как профилирование определяешь? сбор информации о "качестве" узла?

weko Если кратко то да

Vort я вот думаю о различиях в пассивном и активном получении информации

weko [06:15:32] <Vort> "<weko> Не пытайся анализировать рандом" вредный совет

weko [06:15:51] <Vort> с рандомом надо просто уметь работать

weko С ним просто не имеет смысла работать. Не вредный, а экономяший время. Смысл искать что-то в случайности нулевой

tetrimer Это если случайность правильная, а не по Пуансону. :)

Vort если обычные туннели 3+3 хопа, то извлечь из этого информацию о конкретном узле будет сложно. возможно, потребуется дополнительно грузить отдельные узлы, чтобы поставить им правильную оценку

weko Vort: активная может выделятся. Поэтому стоит сначала подумать об этом

Vort tetrimer: да тут в шумах гора информации. weko видимо не наблюдал ни разу как из на первый взгляд хаоса получается извлекать информацию

tetrimer Из хаоса - можно извлечь тенденцию. :)

Vort шум шуму рознь в общем

Vort бывает чистый шум, а бывает с подмешанной ценной информацией

Vort и без математики иногда их не различить

weko [06:58:18] <Vort> если обычные туннели 3+3 хопа, то извлечь из этого информацию о конкретном узле будет сложно. возможно, потребуется дополнительно грузить отдельные узлы, чтобы поставить им правильную оценку

weko Во первых, просто 3 хопа. Во вторых, просто ставим всем в минус одинаковое число, которое зависит от числа хопа (например, не работающий пир -1, значит каждому -1/3), хорошие пиры всё равно при такой системе будут выходить вверх (в туннелях с ними реже затыки)

weko [06:59:05] <Vort> tetrimer: да тут в шумах гора информации. weko видимо не наблюдал ни разу как из на первый взгляд хаоса получается извлекать информацию

weko Это не хаос, это рандом, при чём локальный

weko Почти что

weko Нет смысла следить за случайно меняющимися цифорками

Vort weko: почему просто 3? если качать файл, допустим, и замерять скорость, то при скачке же он через 6 узлов пойдёт при стандартных настройках?

weko Vort: потому что какой смысл оценивать 6 когда можно оценить 3

Vort ну если есть возможность придумать такой тест, то хорошо

weko Проще простого

Vort я пока плохо понимаю, как. хотя объяснение с -1/3 понял и в целом согласен

Vort это по сути тоже извлечение информации из шума

weko Берём 3 туннеля A, B, C , дальше попарно их тестируем. У кого в двух случаях fail тот туннель и сдох

Vort это уже речь об активной проверке?

weko [07:03:37] <Vort> это по сути тоже извлечение информации из шума

weko Нет. Извлечение информации из каждого конкретного случая по отдельности

weko [07:05:03] <Vort> это уже речь об активной проверке?

weko А тут без этого никак

weko Она уже есть

Vort по сути, когда измеряем свойства конкретного узла, то остальные узлы туннеля принимаем за шум и пытаемся отфильтровать

weko Ну да

weko Но не измерять

weko Меряем конкретный узел, остальное фильтурем по свойствам

l13kdsa ff 1066 вроде нормально, рейт 9%. Правда за 12 часов peerProfiles опять жирный на 1.8 гигов

l13kdsa "<weko> Не пытайся анализировать рандом" ну не знаю, это примерно как tcsr на минималках, с той лишь разницей, что можно посмотреть конкретное количество и размазать по временной шкале например

weko Это врядли

weko Для этого нужно знать механизмы

weko Как они отмечаются и удаляются

weko Лучше на TCSR смотри

Vort l13kdsa: у меня профилей всего 24 тысячи. может забыл почистить перед перезапуском?

Vort хотя может у меня наверно ещё не сбросились. через несколько часов надо будет проверить

l13kdsa я не уверен, что сброс работает вовсе

Vort я имею в виду запись на диск

Vort они хранятся в памяти и раз в 6 часов пишутся (сбрасываются) на диск

Vort у меня прошлая запись была в 5 утра, так что скоро будет новая

l13kdsa 457505 в peerProfiles

Vort у меня пошла запись, скоро скажу сколько наплодилось

l13kdsa значит ли это, что говномет снова был активен ночью?

Vort ну да. можешь логи почитать

Vort с 2 UTC и длился где-то часа 3. точно не замерял

l13kdsa хм, может тогда не сносить эту папку, а то толку наверное не особо, только диск портить

Vort а. в логах же нету времени :(

l13kdsa каталог

Vort у меня он как-то кешируется ОС. так что мне надо чистить

Vort про других юзеров не знаю

tetrimer Время - есть, дату - надо включать отдельно в конфиге...

Vort закончилась у меня запись профилей на диск. получилась 181 тысяча файлов

l13kdsa надо было бы замерить до атаки, чтобы понять, норма или не)

Vort это явно больше общего количества существующих узлов в сети. так что не норма

Vort 40 тысяч узлов в сети

l13kdsa ну, а если выключить persist.profiles, то станет хуже?

orignal а что атака уже закончилась?

orignal у меня везде по нулям

tetrimer По крайней мере связность - улучшилась...

tetrimer Вот такое стало вылезать:

tetrimer 14:20:07@532/error - HTTPServer: Duplicate remote endpoint detected: 188.214.30.71:9117

tetrimer Хотя, мне кажалось, что HTTP сервер наружу не торчит

tetrimer На флудфилах - по-прежнему большое количество роутеров...

tetrimer Routers: 13797 Floodfills: 998 LeaseSets: 231

tetrimer Client Tunnels: 33 Transit Tunnels: 2078

tetrimer Может - у атакующего тоже выходные в связи с майскими праздниками?

Vort tetrimer: про время в логе я говорил относительно сервиса major

Vort "Вот такое стало вылезать: " это из-за проблем потокобезопасности вебконсоли

tetrimer А, там да - нету времени. :) Но это, возможно, такая авторская задумка... Чтобы нельзя было вычислить таймзону пишущего, например.

Vort "HTTP сервер наружу не торчит" речь об сервере самой консоли (которая тоже по HTTP работает)

Vort tetrimer: можно было просто UTC+0 писать

tetrimer Vort: Так никто по порту 7070, кроме локалхоста, не слушает... Как туда попадают запросы и могут ли наружу уходить ответы?

Vort tetrimer: вот с этим сервером на 7070 и проблемы

Vort это сообщение пишется когда сервер замечает поверждения данных при отображении списка транспортов

Vort а повреждаются они из-за проблем с потокобезопасностью

tetrimer А, то есть это не обработка запроса извне? Тогда это не так страшно...

Vort это обработка локального запроса от локалхоста

tetrimer С ошибками в _отображении_ информации - можно жить.

Vort честно говоря я не уверен, что всё ограничивается отображением. но тут просто моих знаний не хватает

Vort иногда от запросов в веб консоль можно вообще креш словить

Vort так что тыкать там я стараюсь с осторожностью

l13kdsa что, вебконсоль сломалась? Хм, не знаю, она даже выдерживает циклические запросы без задержек

Vort l13kdsa: у меня крешилась когда я списки туннелей в цикле запрашивал

Vort давно это было правда. но вроде никто консоль с тех пор не чинил

Vort "гонки" они такие. в большинстве случаев везёт. а иногда не везёт, но просто не видно

Vort если допустим один какой-то коннект транспорта отвалится - разве это кто-то заметит?

Vort или один транзитный туннель

l13kdsa я вообще, до сих пор удивляюсь, как можно обрабатывать килотонну соедений и при этом следить, чтобы все эти потоки не устраивали между собой гонки

Vort ну вот для основного функционала это сделано (хотя может и не на 100%, но пока не крешит), а для консоли - нет

Vort потоков, кстати, тут не тысяча

Vort штук 20 вроде. ну примерно

Vort тут асинхронный код

Vort но всё равно проблемы с многопоточностью вылазят

orignal эта ошибка же про транспорты

orignal такое бывает если одновроеменно в обе стороны соединяются

orignal многопоточность тут непричем

Vort это же я добавил эту ошибку, так что знаю в чём дело

Vort это напоминалка о том что нужно сделать нормальную многопоточность в консоли :)

Vort там ведь и вот такое бывает: Duplicate remote endpoint detected: 0.0.0.0:0

orignal а почему ты думаешь что это в консоли?

orignal ну 0 просто еще содинение не утсановилось до конца

Vort ну вот когда не будет гонок в консоли проверим, уйдут ли эти сообщения

l13kdsa я не уверен, что консоль расчитана на постоянную долбёжку, ведь никто не расчитывал, что её будут парсить в скриптах вместо апишки)

Vort l13kdsa: orignal говорил что она изначально была для отладочных целей только. ну как я понял, не для юзеров, я для разработчиков

Vort потом юзерам это понравилось, а код как был тестово-отладочный, так и остался

orignal именно так она была для меня чтобы смотреть что происходит

tetrimer А как обратиться "к апишке" из обычной консоли?

R4SAS hgulo: быть может, а может и нет

hgulo смысл говорить загадками?

R4SAS смысл в том что известно что надо, только нет возможности, времени

Vort опять говно попёрло

orignal пока не вижу

orignal точнее прет но как то хило

Vort посмотрел немного в netdb. иногда замечаю различия в длине i= . но я вообще не знаю, что этот параметр задаёт, так что не пойму, ценно это или нет

orignal ключ симметричного шифрованияэ

Vort почему может быть длина разная?

orignal 32 байт у SSU2 и 16 байт у NTCP2

orignal всегда одинаковая

orignal или 16 или 32

Vort хмм. а атакующий это знает или меняет как попало?

Vort у меня есть подозрение.. )

orignal не знаю

orignal но тут если ключ не совдает сразу обрыв соедирнения

Vort а чисто SSU какой длины?

Vort без 2

orignal там нет i

orignal есть intro он вроде 16 там

Vort ну а вот в том что я смотрю - есть. при чём, ещё и разной длины

orignal SSU без v=2?

Vort paste.i2pd.xyz/?8fc4be41d88a9e8c#4aj2nghwsuPYJzKutbhWatd5yt69bFrY8FHciv7K6MC6

orignal [v] = [2]]

Vort то есть, есть SSU + v2, а есть SSU2 ?

Vort и в чём различия?

orignal SSU+2 это всегда джава

orignal SSU2 всегда i2pd )))

Vort ну всё равно - разная длина i

Vort на том же адресе блин

orignal там может у тебя key и i перепутан

orignal при показе

orignal посмотри внутри файла лучше

Vort я это первым делом и сделал

Vort а потом уже стал джаву тормошить

Vort сейчас сами файлы кину

Vort paste.i2pd.xyz/?1243e8f9a00f4193#FJdKyMDznUCndjhkMebFdQUTbKXsVv4PvwY4kRqH5KGN

Vort они размером отличались, этим меня и заинтересовали

Vort Transit Tunnels: 20319

Vort давно такого не было

orignal новая тактика?

Vort ага

Vort и нагрузка CPU вверх пошла

Vort RAM более-менее в норме

orignal вроде у меня везде порядок

orignal может илита по OOM выпасть

orignal сегодня перестартую

Vort да это скорее не на память атака, а на дескрипторы - много NTCP2 коннектов

Vort хотя нет. всех много

orignal NTCP2 коеннеты с одного ip?

Vort по-моему нет. плохо смотрел

Vort скорее последствия кучи транзитов

orignal тогда это жопа

orignal если куча разных IP то значит у них есть большой ботнет

Vort да это скорее всего обычные юзеры

Vort надо проверить, конечно

Vort такое же и раньше было

Vort CPU же, похоже, просто жрётся вознёй с TCP коннектами

Vort ничего особо примечательного не вижу

weko Походу решили комбинировать

Vort вижу i2p::transport::NTCP2Session::SendQueue и i2p::transport::NTCP2Session::SendI2NPMsgs, но это, наверно, обычная работа

Vort "<weko> Походу решили комбинировать" да

weko Тут последствия сложнее понять

Vort хотя немного странно. повышенный фон количества транзитов и так последнее время был

Vort а тут повышение повышения как бы

orignal да пох

orignal держится же пока

weko Держится

weko Не пох всё равно

Vort по ресурсам да. и один хоп на IRC стабилен. но TCSR ползёт вниз. а для более жирных потребителей явно проблемы

weko Джависты лишаются анонимности а у нас нагрузка растёт

weko Ничего хорошего в этом нет)),

Vort я подозреваю, что многие узлы могут из-за дескрипторов отвалиться

orignal вряд ли

orignal соединения же быстро закрываются

Vort какой там обычно лимит у линуксов? 4k? вот у меня сейчас: NTCP2 ( 3177 )

Vort до 4к не так много

orignal у меня везде 8K

orignal ну у тебя флудфил

orignal там всегда надо ставить 8K

Vort это дефолтное значение 8к? просто если вручную поменял, то это не характеризует среднего юзера

weko [17:36:59] <Vort> я подозреваю, что многие узлы могут из-за дескрипторов отвалиться

weko Я вот сейчас подумал что стоит ограничить количество NTCP2, чтобы оставалась ну хотя бы 100 для коннектов к туннелям, прокси и тд

weko У меня тоже 8к стоит

weko 100 дескрипторов именно

Vort weko: если есть надёжный метод вычисления лимита ОС, то почему бы и нет. на винде не надо короче

weko Шинда в последнюю очередь рассматривается))

weko i2pd уже лимит опередяет

weko Либо можно задать

Vort меня на винде сейчас больше CPU беспокоит. ну не то что прямо сейчас. но если в несколько раз больше коннектов будет, то в поток упрётся

orignal если такие умные то научите число дескррипторов узанавать

Vort так есть что-то такое в i2pd же

Vort но у меня просто сомнения в надёжности. я лично не проверял

weko Кстати рост именно ntcp2 логичен - в торе же нету udp

Vort weko: пока нет подтверждения, что эти коннекты искуственны, стоит предполагать просто наплыв коннектов из-за транзитов

weko [17:41:48] <orignal> если такие умные то научите число дескррипторов узанавать

weko Я читал в комментариях к конфигу что дефолт для значения дескрипторов "Use system default"

weko Vort: возможно

Vort orignal: а, я не так сразу понял. мне кажется что просто количество TCP коннектов будет хорошим приближением

weko Но туннелей слишком много, значит ими спамят а значит это делает атакующий, вероятно через тор

Vort ну это да, но он может и через небольшое количество компов это делать. ну относительно небольшое

Vort я так и не дописал анализатор кластеров до нормального состояния ((

Vort а вручную 3 тыщи просматривать - мозги плавятся

weko Ну понятно

weko Сколько выходных узлов у тора?

Vort сейчас поищу. наверно несколько тыщ

Vort 2 тыщи

weko Выходит 2000 тыщи IP для спама в i2p

weko Часть правда с лимитом по портам

weko Но с остальных можно спамить

Vort да их элементарно вычислить. список то открытый. если начнёт расти количество коннектов оттуда, то будет видно

weko Надо кому то смотреть)

Vort это да

Vort github.com/SecOps-Institute/Tor-IP-Addresses/blob/master/tor-exit-nodes.lst

orignal совпадает?

orignal если тор не будет SSU2

Vort я пока пересечения не смотрел. опять же нет инструмента

orignal отключи NTCP2 и все

Vort сейчас регулярками поковыряю

Vort как и в прошлый раз

orignal что?

Vort всего 9 адресов из 2844 - Tor

orignal а ну ка

orignal у меня же есть чисто SU2

Vort 0.3%

Vort аномалии нету по крайней мере

l13kdsa > на винде < кстати, а чё там по лимиту дескрипторов у винды?)

Vort l13kdsa: лимит - твоё количество RAM

l13kdsa лол, жирно

Vort Floodfills: 3368. хм

Vort лучше связность сети из-за флуда туннелями - быстрее говно разносится что ли?

Vort ^ немного наугад спросил

orignal а x3

orignal тут на самом деле крайне разуменое предложение поступило

orignal признавать флудфил флудфилом когда через него хоть один тоннель построился иои реджектснулся

l13kdsa "~orignal | там всегда надо ставить 8K" ну, к слову у меня не упёрлось в лимит 4к ещё, но рандом же

orignal на флудфилах всгда так было

Vort orignal: ну идея не флудить чем попало с начала атаки вроде озвучивается

orignal ну так блять почему же он тогда до сих пор не реализована и не опробованна?

orignal я ж не дед у меня какие то свои дела етсь

Vort мне тоже непонятно почему на 40 тыщ юзеров примерно два разработчика. но это отдельный вопрос

l13kdsa "быстрее говно разносится" хм, может тогда вырубить на недельку наоборот?

orignal я просто не могу счас

orignal потому что занят

orignal и еще не скоро смогу

user А я вообще на сях только хеллоуворлд писал, не смотрите на меня так...

Vort l13kdsa: как я уже говорил, один конкретный юзер мало что меняет

Vort тем более, если действовать хаотично/непродуманно

weko [18:05:31] <orignal> признавать флудфил флудфилом когда через него хоть один тоннель построился иои реджектснулся

weko Я об этом говорил тыщу раз)))

weko Да я тоже хэллоуворлдовец))

orignal ну так сделал бы и попробовал

Vort а я вижу, какой монстр этот код. какую-то фигню скраюшку починить могу, но это и всё

l13kdsa есть краткий TLDR по cpp?)))

weko Не вижу смысла делать сейчас костыль, пока и так нормально чистит

weko Не костыль - полноценное профилирование

orignal короче если в ближайшие пару часов упадет илита там OOM

orignal а мне надо отлучиться

l13kdsa что ж

weko [18:09:16] <Vort> а я вижу, какой монстр этот код. какую-то фигню скраюшку починить могу, но это и всё

weko Меня больше всего раздражает то, что низкоуровневые локальные вещи (по типу пирсинга RI) идут вперемешку с высоуровневыми концепциями

weko В итоге чтобы понять что происходит нужно читать всё)

weko [18:10:34] <orignal> а мне надо отлучиться

weko Так лучше сразу рестартнуть

weko парсинга*

orignal ну так куски кода были написано в разное время

orignal очевидно же

weko Понятно

orignal ну я подожду

orignal рестартую перед тем как свалить

weko Лучше конечно чтобы подобные штуки отдельно были и просто вызывались без side эффектов

l13kdsa поставьте monit к примеру, там триггер можно задать, если жрать будет много рестартанет

weko orignal: аок

l13kdsa Кстати, а что будет, если воткнуть флудфил где-нибудь на магистрали где обычно датацентры ставятся? Хотя, проверить некому)

l13kdsa отвал

l13kdsa привал

Vort "<weko> Меня больше всего раздражает то, что низкоуровневые локальные вещи (по типу парсинга RI) идут вперемешку с высоуровневыми концепциями"

Vort "<~orignal> ну так куски кода были написано в разное время"

Vort нет. это стиль такой

l13kdsa жиза

Vort для производительности

Vort код переоптимизирован

Vort ну может иначе уже бы тред в потолок ядра упирался если бы абстракций было натыкано

weko Я понимаю что происходительность так лучшп

Vort так что я особо на это не жалуюсь )

l13kdsa да, без оптимизации это будет жава like

weko Но раз такое решение принято значит нужен регламент или документация по side эффектам

weko Особенно когда функция чтения RI может внезапно сделать его Unreachable

l13kdsa наверное надо сначала пофиксить атаку, а потом с документациями разбираться

weko Назвать тогда ReadAndVerify

Vort ну и есть ещё особенность чистоты кода конечно. и вот тут действительно "писалось в разное время" решает

weko [18:23:35] <l13kdsa> да, без оптимизации это будет жава like

weko В джаве основная проблема - накладки на JVM. А тут жертва хоть и есть, но уж точно не такая, чтобы скатиться до жабы

Vort один кусок ставит Unreachable на говно (которое не просто unreachable, а полный хлам), а другой кусок кода убирает unreachable отовсюду, потому что так надо :)

Vort "основная проблема - накладки на JVM" - не факт

weko [18:23:25] <Vort> ну может иначе уже бы тред в потолок ядра упирался если бы абстракций было натыкано

weko Так абстракций особо больше и не надо

Vort ну если будет две функции - прочитать данные и обработать данные. вот будет два вызова

weko [18:26:21] <Vort> "основная проблема - накладки на JVM" - не факт

weko Факт, джава сосёт из-за этого и очень сильно

Vort а макароны в перемешку читать сложно, но лишнего вызова нету

weko [18:24:18] <weko> Особенно когда функция чтения RI может внезапно сделать его Unreachable

weko [18:24:36] <weko> Назвать тогда ReadAndVerify

weko Сказал же

Vort и два вызова - это лучший вариант. может быть и двадцать два

weko Нужно чтобы это было понятно

Vort "Сказал же" - ок

l13kdsa ок

weko Если функция делает то, что могло бы 22 - то это плохая функция

Vort это вопрос оптимизации который не все разработчики понимают

Vort улучшаешь одно, ухудшаешь другое. практически всегда

Vort и тут нужен баланс

Vort но этот баланс настраивается по вкусу разработчика

Vort один из параметров оптимизации - читаемость кода

Vort наравне со скоростью допустим или количеством потребляемой RAM

weko Объяденять действия нормально (зачем нам продолжать читать RI, который заведомо мусор?), просто они должны быть описаны в названии

weko Тут ещё проблема в том что протокол многие ситуации не регламентирует

l13kdsa читаемость кода и оптимизация не совместимое) На ассемблере вот не кроссплатформенная нечитабельная 100% оптимизация)))

l13kdsa Хотя, есть один язык на букву r, но чую срач

weko А ввиду отставия регламентации которой приществовало продумание сложно решить что делать в различных ситуациях

orignal если бы я делал все по науке и правилам i2pd бы никогда не появился

l13kdsa правда с оптимизацией лучше не переусердствовать, а то можно донаоптимизировать до появления багов

l13kdsa вот да

weko Например, в RI проблема с одним из адресов, и что следует делать - забраковать адрес или забраковать RI?

l13kdsa orignal: главное не выгорай (

orignal у вас тема моего выгорания прям навязчивая идея

orignal weko по похошему только адрес

weko Не у меня)

orignal но счас RI целиком

orignal я скорее сдохну чем выгорю )))

Vort так реальная угроза сети если некому будет чинить

l13kdsa сорян, не знал, что тут часто это говорят, не читал всю историю чата с 2021

Vort вот и говорят

weko orignal: мне тоже так кажется, что нужно адрес. Но тогда все роутеры должны по той же схеме определять этот адрес, чтобы мы фактически не являлись вредителями

orignal такое редко бывает что один адрес нормальный а другой фальшивый

Vort ipv6 часто фигня. или вы о другом?

orignal ну проверка что s числится за другим роутером если

weko Как пример; я имел ввиду вообще любую проблему с адресом

l13kdsa вот когда v6 начнут внедрять массово, вот тогда тут можно будет взвыть с поиском и блокировкой атакера, с пулом адресов на всю галактику

weko l13kdsa: да просто увеличить время бана для ipv6 можно

weko И штраф за одну подсеть

weko В джаве такое есть вроде

weko Сейчас вон вообще /48 подсети выдают

weko Вроде)

weko Хотя некоторые обсосы /128 выдавать могут

orignal а я это так и не слелал

orignal а надо

orignal так он скорее всего через тор сидит

weko Ну понятное дело

Vort weko: хрен допросишься /48. жадные черти. даже когда "вся галактика" в их распоряжении, всё равно жлобятся

l13kdsa ну, может бояться, что если всем раздавать так жирно кончится быстро

Vort да привыкли просто бабло рубить с ipv4

l13kdsa ну и да

Vort вот и продолжают

weko Тор с нормальным профилированием и при наличии атак будет в бан улетать постоянно и ничего с этим ничего не сделаешь. И это будет вполне адекватно

l13kdsa нормальные i2p over тор юзеры будут грустить...

weko Проблемы негров шерифа не волнуют)))

Vort weko: мне казалось, что флудфилы из тора невозможны

orignal разумеется невозможны

weko Ну а вообще анонимная сеть должна строится на не анонимных узлах, иначе она не будет анонимной)))

orignal но засирать ими можно откуда угодно

weko Так тор узлы вообще адрес не публикуют

weko Потому что у них не может быть доступного адреса

orignal но можно понять в момент соединения

weko По пингу сразу отсеять, и не важно тор или не тор) главное что пинг высокий, а это плохо

weko Пойду дальше хэллоуворлдится

orignal что я и начал делать

Vort "<weko> По пингу сразу отсеять" так смотря для чего. если чтобы через них не строить туннели - логично

Vort но не строить туннели - это мало на атаку повлияет

weko Понятное дело для чего

weko Чтобы самим не использовать

Vort заниматься обходом проблемы с 0.3% узлов когда надо с атакой разбираться? ну такое себе

Vort Floodfills: 6710

orignal интересно почему у тебя все время много больше чем у других

orignal у меня нигде не превыщет 2K

Vort + какой-то всплеск CPU был

Vort может лагануло и из-за этого накопилось говна больше обычного

weko [18:59:19] <Vort> заниматься обходом проблемы с 0.3% узлов когда надо с атакой разбираться? ну такое себе

weko А кто говорил что сейчас?

weko Floodfills: 3855

Vort "<weko> А кто говорил что сейчас?" "<~orignal> что я и начал делать"

weko Почистило тыщу

weko Так это было до этого

weko 3-4к держит

Vort похоже, это у меня опять из-за профилей залагало. хотя странно, как будто не по расписанию сброс на диск был

Vort ну хоть RAM не выжрало как в прошлый раз

weko Так сейчас обновлюсь и посмотрю что там можно по профилям сделать

orignal я тут кое что меняю с ними

weko Я хочу сделать что если значения близкие к умолчательным то не сохранять

orignal попробуй

orignal просто предупржедаю я там тоже меняю

weko Потому что там большинство таких раз куча мусора чистится

Vort мне кажется, что нужна какая-то отдельная отметка для мусорных роутеров

Vort нафига профиль для спама хранить

Vort тогда проблема с большим количеством файлов сама рассосётся

weko То что я хочу сделать надо в любом случае

weko И исправит это тоже

weko Посмотреть мне надо что там в коде

l13kdsa > заниматься обходом проблемы с 0.3% узлов < ну, если что-то выйдёт из этого, то после выкатки релиза все апдейтнут роутеры и проблема будет временно решена, пока атакер не найдёт очередной подход

l13kdsa обхода обходов

l13kdsa я конечно понимаю, что старые роутеры тоже нужно поддерживать, но боюсь в скором времени атакер просто через старые будет пользоваться их дырками, чтобы гадить другим

orignal чукча зато выдала "гениальную" мысль что это атакует дед ))

weko У всех было это в мыслях))

weko Просто нет смысла озвучивать

Vort l13kdsa: "если что-то выйдёт из этого" - да это не относится к атаке. просто тор узлы тормозные, вот и всё

Vort через них лучше туннели не делать, да, но это просто мелкое улучшение качества связи

weko Не бессмысленно

weko Я вот думаю как лучше сделать

Vort "<weko> У всех было это в мыслях))" - у меня не было. я вижу три варианта: 1. госцензурасты. 2. бандиты. 3. кому-то делать нехрен

l13kdsa Routers: 14200 Floodfills: 2734 началось, 10 часов аптайма, 3 tcsr (менял параметры профилирования)

weko Нужно просто не сбрасывать "умолчательное", но в памяти они всё равно будут копиться, и для них каждый раз будет проверяться

l13kdsa уже прыгнули ff к 2200

weko Нужно при удалении RI проверять профиль и если он бесполезный - удалять; вот и подумал

weko Vort: дед под 3 пункт может подходить,))

Vort да, но на то он и третий, что самый маловероятный )

weko Но может же быть

weko А значит думал)),

weko )))))

orignal про третий пункт это надо очень делать нехуй

orignal точнее делать нехуй и быть пациентом дурки

weko Ну мы же не знаем достоверно почему дед ушёл))

l13kdsa А профили будут просто перезаписываться (новые появляться, а старые удаляться вмысле), если место закончится? я просто хочу сделать костыль в виде папки подмонтированную с лимитом

weko Да зачем

weko Надо исправить код

l13kdsa ну та скажем "фикс" в лоб, без правки, правда с неизвестным результатом

weko Через время профиль из памяти чистится сам

weko Ага; но прикол в том что только из памяти

orignal счас скоро закоммичу кое что

weko А я счас начну делать

weko Понял что именно нужно

weko Не уверен костыль или нет, но проблему должно решить

weko Я вот смотрю по коду, мы что стараемся профили вообще в памяти не хранить? SaveProfiles(), там очистка g_Profiles

weko Не пойму зачем

user Роутеры с лимитом памяти?

weko Операции чтения с диска дороги

user Можно сделать разные опции с борки

weko Да и зачем то временная переменная, хотя можно сначала сохранить, а только потом очистить

weko user: наверное

weko А я понял зачем

weko Нам придётся мьютекс занять вероятно надолго пока записываться

orignal 5 итнкт

orignal минут

orignal все

orignal сделал именно то что говорили

orignal пока флудфил не подтвержден хрен вам а не флудфил ))

weko О круть

weko А как подтверждается?)

orignal посмотрим как будет

orignal либо код вернет на запрос тоннеля

orignal или соединится с нам

orignal и

weko С ресида должны сразу нормальными считаться))

orignal они будут потому что это начинает работать когда флудфилов больше 1000

weko Ааа, любимые костыли)))

orignal почему?

orignal потом может более сложный критейри запилю

weko Я делаю метод IsUseful чтобы не сохранять не нужные профили, но проблема в том что её можно забыть поменять в случае добавления нового параметра; может значения по умолчанию вынести в константы?

weko orignal: ну магическое число никак не связанное с протоколом)

weko Потом менять придётся

weko Вероятно

weko Ладно лучше сейчас не сделать

weko Либо так, либо никак как грится)

weko А константы не помогут

weko А я придумал

orignal ну как уже есть

orignal потом можно переделать

weko Можно добавить m_IsUseful и ставить его когда какое то значение привысило threshold

weko Проверять когда меняем

orignal можно но у меня не было времени делать все по фэншую

orignal если хочешь то усовершеноствуй идею

weko Я сделаю в рамках того что есть нормально

orignal я просто решил что 1000 вполне разумное число для ныншенего состояния сети

orignal если оно сработает как задумано то это означает конец нынешней фазе атак

orignal пока флудфил себя не обозначит он говно на палочке а не флудфил

weko Понятное дело

weko Можно ещё если роутер врёт то банить его

weko Но в данном случае банить нельзя

orignal енсли с IP мы так и делаем

orignal бан на 4 часа вроде

orignal в данном случае смысла нет

orignal потому что этот роутер одноразовый

weko Ну да логично

weko Но в любом случае будет полезно

weko Потому что могут быть не одноразовые

weko Если ботнет

weko Например

orignal если ботнет это другая атака

orignal там реальные роутеры будут

orignal а не мусор как сейячас

weko Ну понятно

weko Что другая

l13kdsa > Ааа, любимые костыли))) < зато простой и надёжный как топор

weko ))

weko А зачем кстати везде в разных еденицах времени делать константы? Можно везде использовать как секунды, а чтобы удобно менять можно сделать constexpr в котором умножить чтобы было в секундах

weko А то в коде лишняя магия

weko Куча раз на 3600 умножается

weko Единицах*

l13kdsa > я просто решил что 1000 вполне разумное число для ныншенего состояния сети < 1000 ff хватит всем! (перефразирование с 640 килобайт) )))

weko Ну например constexp SOME_TIME_CONSTANT = 3 * 60 * 60;

weko constexpr*

l13kdsa уже качаю обнову, это супер важное изменение, имхо

weko Итого будет в секундах в константе и задаём мы в часах

weko Можно даже сделать ещё понятней, но не нужно

weko Ну может компилятор и оптимизирует умножение на константу в рандомном месте, но не обязан; лучше явно

l13kdsa так компилятор поправит же все эти умножения, не?

l13kdsa ой

weko С constexpr мы явно говорим это сделать

weko Тем более что тогда компилятору нужно будет один раз это делать (экономия на спичках:) )

l13kdsa ff убывают потихоньку, иногда убывая по 200

l13kdsa 1856 3 минут аптайм

l13kdsa 1410

user Это с новым патчем?

l13kdsa ой ей, зато роутеров выросло Routers: 16140

l13kdsa очень активно растёт

l13kdsa 17688

l13kdsa 18092

l13kdsa Floodfills: 1000 :)

weko Ахаххаха

weko Походу пидорас увидел что мы тут пишем

weko И решил перейти на просто роутеры

l13kdsa не, ну ладно, оно достигло 18к, дальше отскакивает вниз

weko Но вроде бы от спама просто роутерами ущерб должен быть меньше

weko Понятно что отскакивает

weko Чиститься

weko А у меня кстати нету

user Не, это новый патч от orignal тестируем

weko У меня в норме всё

l13kdsa снова пошёл рост

l13kdsa 19152

weko Интересно, это у меня устройство gavno или это шланг такой медленный? У меня gcc на калькулятор быстрее собирает

weko Калькуляторе*

weko У меня нормально

weko Походу ты под гавномётом

l13kdsa спрятаться бы

weko А мне повезло в этот раз

weko Ставь hidden=true

weko Вроде так

weko Хотя не уверен)

weko Там флаг H ставиться

l13kdsa знаешь, не хватает вычисления routers per second

weko Аххахаха!

weko Раньше и не нужно было

weko И нужно только во время атак, так что лучше это в предполагаемую дебаг-dev сборку-код

l13kdsa бля, рейт упал ещё, 2%

l13kdsa Routers: 20032 Floodfills: 1000

l13kdsa как-то так

user Всё, распространяем проверку на все роутеры

user Если больше 2к роутеров, тоже проверяет

weko Вроде работает моё изменение

weko Сейчас проверю проверку))

l13kdsa 39 минут и Routers: 23495 Floodfills: 1000

l13kdsa срёт как я не знаю кто

l13kdsa "weko: У меня в норме всё", а ты глянь peerProfiles, чую там на парочку гигов набралось)

weko Ага

weko Я удалял; сколько было не смотрел, но уделялось долго

l13kdsa ох уж эта отладка на проде, ну зато симулировать не надо, вот поток говна - обрабатывай как хочешь

weko Я уже написал код чтобы такого не было

weko Надо проверить только