#dev (ilita) | Обсуждение разработки I2Pd | i2pd development discussion | http://i2pd.website/

orignal R4SAS ебучий XP опять завалился

Vort__ дообновлялись вчера что ли?

un походу

Vort__ я уже думал, что это у меня i2pd глючит

un хуяе хуяк и в продакшн

un :)

un надо лосю коредамп смотреть

Vort ну обновить линукс и чтобы он при этом не сломался - это подвиг

un ну хз.. я бы не сказал

Vort с давних времён помню фразу "линуксы обновляются переустановкой"

un всю жизнь работаю deployment продакшна... рутинное дело

Vort да вот и я хз. но ощущение у меня такое осталось

un хуй знает. я все на работе dist-upgrade с убунты 18 до 22 без проблем

Vort__ хммм

Vort__ я думал, проблема специфична для сервера orignal`а

un нда

un я тоже

Vort__ но теперь и сервер R4SAS отвалился

Vort__ они же, наверно, обновляли одновременно и линукс и i2pd

un неожиданно

Vort__ и теперь попробуй понять, где глюк

Vort__ хотя можно i2pd до релиза откатить

Vort это же не из-за моего клиента сервера крешатся хоть? :))

Vort а то только зашёл - почти сразу сервер глюкануло

Vort orignal: что с серверами было?

R4SAS у нас обоих отвалился ш2зв

R4SAS у меня, по ошушениям началась утечка памяти

R4SAS потому что сервер убил 2 копии ш2зв

Vort в свежих коммитах какой-то баг?

R4SAS у него - не знаю, я просто перезапусти ему

R4SAS но видимо что аналогично

R4SAS да, похоже что есть где-то

Vort у меня ещё и непосредственно в i2pd баг был. расскажу, как orignal появится

Vort я вообще думал, что это у меня глюкануло, так как был какой-то масштабный сбой сети

Vort но, видимо, это не связано

R4SAS 1899129 root 20 0 4977024 745568 1188 S 8.9 24.5 6884:48 `- /opt/i2pd-reg/i2pd

R4SAS один из рег-ов жрет сейчас 740

Vort LLE8 вон на гитхабе тоже жалуется. он, правда, всегда жалуется...

R4SAS да, он постоянно)))

R4SAS да, у него тоже oom сработал

orignal я посмотрю

orignal интереснее другое

orignal у меня на 2RRY ничего не жрет

Vort а обновы там такие же стоят? линукс/i2pd

orignal Uptime: 3 days, 22 hours

orignal последние коммиты они касались переноса кода между фалйами

Vort значит подозрение на обновы ОС тогда

Vort может, опять в openssl что-то накосячили? ))

orignal у меня где ирк убунуту 16.04

Vort хм

orignal давай рассказывай что у тебя

Vort загадочно

Vort у меня утром завис стрим к IRC

orignal я думаю опять деситнейшин

Vort и после зависания многие часы гадил в лог сообщениями Streaming: Can't send packets, missing remote LeaseSet

orignal а ну это бага onon-а

orignal это починим

Vort по-хорошему, после нескольких провалившихся попыток надо дропать такой стрим

orignal естественно

Vort затем, когда я от этого стрима избавился, я пробовал подключаться заново

Vort результат: SOCKS: Error when creating the stream, check the previous warnings for more info

orignal ну это наверное лизсет не нашел

Vort только вот то ли я невнимательный, то ли что, но ничего интересного в "previous warnings" я не увидел

Vort уже думал, что i2pd конкретно переглючило, перезапустил его, но результат тот же

orignal долэна ьыть ошибка лизсета

Vort потом я уже понял, что проблемы с сервером

Vort но поначалу было непонятно

Vort "<~orignal> долэна ьыть ошибка лизсета" на каком уровне помнишь?

orignal не помню

Vort в общем, если можешь, проверь. я пока отойду

orignal ну для http она показывается

orignal а для сокс видать нет

orignal короче по поводу отжирания памяти я думаю дело в SSU2

R4SAS кстати, в почему shm мы не используем?

R4SAS а*

orignal для чего?

R4SAS для разделения памяти между потоками

orignal Vort так стрим то завис потому что сервер отвалился?

orignal а чем тебе обычная память плохая?

R4SAS тем что ё не отследишь

orignal shm это ipc

R4SAS не ясно кто конкретно отжиает память

orignal я думаю слулось вот что

orignal SSU2 тред уперлся в лимит

orignal и та очередь переполнилась

orignal надо просто добавить проверку

un привет. у вас у обоих OOM сработал?

orignal да. нов разное время

orignal преполагаю оба были флудфилы

R4SAS нет

R4SAS у меня ирк не фф

un версия тран?

orignal так погоди а отвалилось только на ирке?

un транк

R4SAS у меня - да

R4SAS и еще рег

R4SAS один из двух благо

R4SAS может еще чего то, я не смотрел

R4SAS пока что некогда

orignal а с ирк сервером ничего не просиходило?

R4SAS в плане?

orignal ну много подключений враз

orignal с ней это известная проблема

R4SAS нет, в ирк не влетал ни кто

R4SAS но система прибила по OOM

orignal мне почему то думается что ирк

Vort "<~orignal> Vort так стрим то завис потому что сервер отвалился?" такое ощущение, что сервер вообще от моего стрима заглючило

R4SAS сначала reg#1

R4SAS потом ирк

orignal так кпогоди у тебя два упало?

Vort вначале меня кидануло, прошло переподключение и стрим завис

R4SAS да, 2 точнол

R4SAS другие не смотрел

orignal значит это точно косяк в последнем коде

R4SAS у меня были билды 2 недельной давности

R4SAS не последний

R4SAS Blinded message

Vort не DoS ли? фантастика, но мало ли

orignal ну так недельной давности я логику переделал

orignal Vort дос чего именно?

Vort IRC сервера

orignal так он говорит что не только ирк

Vort ну вот поэтому маловероятно, но всё же стоит все варианты обдумывать

R4SAS у лося тоже два отвала

R4SAS ирк и i2pd.i2p

Vort а память жрётся постоянно или всплесками?

R4SAS не знаю

Vort если постоянно, то можно тупым делением пополам проблему выловить

R4SAS у меня reg#2 на 720 мб встал

R4SAS я его уже рестартанул

Vort ну сейчас потребление норм или уже отожрались процессы?

Vort после рестарта

R4SAS сейчас норм

Vort значит подозрение на всплески

un магнитные бури. не иначе

Vort я как всегда подозреваю проблемы с синхронизацией потоков

Vort где-то сработала "гонка" - и всё, дальше может происходить что угодно

orignal надо понять закономерность

orignal почему не все отваливаются

Vort SSU2 везде включен?

Vort "<~orignal> надо понять закономерность" ещё может быть полезно, если удастся добиться воспроизводимости

orignal да

orignal и далеко не все упали

orignal а главное 2RRY который флудфил

Vort а сервисы везде есть? на флудфиле что-то есть?

orignal на 2RRY?

orignal там дохуя

orignal везде сервисов дохуя

orignal ха

orignal у меня опять грохнулось где i2pd.i2p

orignal и с кором

orignal профили это

Vort ты же туда IP добавлял. из-за этого?

Vort а если это сброс на диск виноват, то понятно, откуда всплески

Vort и понятно, как воспроизводить - участить сброс подкруткой константы

orignal #0 i2p::util::MemoryPool<i2p::data::RouterProfile>::Acquire<>() (

orignal this=0x564224711e40 <i2p::data::netdb+1088>) at libi2pd/util.h:70

orignal #1 0x0000564224174dd0 in i2p::util::MemoryPoolMt<i2p::data::RouterProfile>::AcquireMt<>() (this=0x564224711e40 <i2p::data::netdb+1088>) at libi2pd/util.h:125

orignal #2 0x0000564224172b49 in i2p::util::MemoryPoolMt<i2p::data::RouterProfile>::AcquireSharedMt<>() (this=0x564224711e40 <i2p::data::netdb+1088>)

orignal at libi2pd/util.h:154

orignal #3 0x0000564224172815 in i2p::data::NetDb::NewRouterProfile (

orignal this=0x564224711a00 <i2p::data::netdb>) at libi2pd/NetDb.hpp:140

orignal #4 0x00005642241719bd in i2p::data::GetRouterProfile (identHash=...)

orignal at libi2pd/Profiling.cpp:258

orignal #5 0x000056422412490c in i2p::data::RouterInfo::GetProfile (

orignal this=0x7ff8dc008a80) at libi2pd/RouterInfo.cpp:1018

orignal там возврат нулеового указателя

orignal 70m_Head = static_cast<T*>(*(void * *)m_Head); // next

Vort не пойму связи с OOM

orignal а я и не говорю

orignal ч говорю почему счас упало

orignal а упало оно ясно race condition

orignal if (!m_Head) return new T(std::forward<TArgs>(args)...);

orignal else

orignal {

orignal auto tmp = m_Head;

orignal причем tmp там нулевой

Vort this=0x564224711e40 подозрительный адрес

orignal нет это нормально

Vort this=0x7ff8dc008a80 вот этот выглядит реальнее

Vort ну может

orignal там явно прошла проверка на нуль

orignal а потом вызвалось

orignal тем временем другой тред забрал

orignal я разберусь

Vort наверно один и тот же race condition иногда даёт креш, а иногда - OOM

orignal именно

orignal с чем я и навмерен разобраться

orignal проблема явно с пулами

orignal постаил ограничение на очередь из SSU2 пакетов

orignal R4SAS XP все равно фейлится

R4SAS orignal: понятное дело что фейлится

R4SAS два странных момент в момент обновления между 11 и 12:

R4SAS 1. сеть. параметры неиного по другому применяются. у меня проблема вылезла из-за того что /etc/network/interfaces достаточно сложный

R4SAS у меня там много разных адресов и маршрутов описывается

R4SAS так что в стандартной конфигигурации проблем не будет

orignal тогда не буду обновлять до 12

R4SAS у меня банально получалось так, что на один из адресов не верно шлюз ставился, а маршрутизация у меня на таблицах сделана по некоторых причинам

R4SAS в итоге адрес с адреса исходящие уходили в не верный интерфейс

R4SAS второе - немного изменились параметры в sshd

R4SAS там уж я переборщил

R4SAS у меня тут есть авторизация с вторым фактором через OTP

R4SAS вот и получалось что фактор передавался до авторизации по ключу))

R4SAS 3. nginx не запускался. это уже мелочи - версия обновилась, а я использую сторонние модули. надо было просто пересобрать их с новой версией nginx.

orignal мрак

R4SAS ну и гостовый кошель пересобирал

R4SAS ибо библиотеки обновились, буст более новый

R4SAS остальное без проблем прошло

R4SAS даже почта сама по себе поднялась

orignal попробую

R4SAS <~orignal> тогда не буду обновлять до 12

R4SAS <~orignal> мрак

R4SAS <~orignal> попробую

R4SAS лол

orignal ну так я снчала до 11 потом поглядим

orignal надо будет тебе попробовать собрать с последним коммитом

orignal лимитировать поток по SSU2 таки надол

Vort если креши/OOM были связаны с профилями, то изменение SSU2 тут мало чем поможет

Vort кстати, оно скорость хоть не режет? это только на случай залагивания треда надо?

orignal про профили это другая тема

orignal думаю OOM было как раз про SSU2

orignal если у тебя скопилась очередь в 2500 пакетов то явно что то неладное

orignal это на случай если тред для обработки на 100% ядро забил

orignal что там с профилями и пулами пока не ясно

Vort orignal: как думаешь, почему это могло начать происходить на двух (+?) серверах одновременно?

Vort была сильная атака, и ничего подобного не происходило

Vort атака прошла и тред начал ядро забивать?

orignal да четырех вообще то

orignal думаю что кто большой поток послал

orignal у меня к тебе вопрос про стримы

orignal а почему у тебя ирк клиент его не закрыл

orignal атака я думаю и была в этот момент просто не у всех толщина канала

Vort когда идёт большой поток, то грузится CPU. а нагрузку CPU я логирую

Vort не было ночью вообще ничего такого

Vort IRC клиент не закрыл потому, что он тупой

orignal так у тебя и не падало

Vort тогда это специфичная атака, приближающаяся к DoS

orignal я думаю просто это роутеры бюли полкобчены к атакущему напряммую

Vort есть ли у кого-либо кроме меня данные по нагрузке этой ночью (и утром)?

orignal я не пишу

Vort может джависты логируют?

orignal возможно

orignal нет что поток по UDP недимитированный это конечно была ошибка

Vort ну, то есть, ты сделал упрощённую реализацию того, что я предлагал - измерять лаги тредов и выставлять лимиты на основе измерений

Vort тоже разновидность congestion control как я понимаю

orignal я сделал проще

Vort "ошибка" - это когда процессор не успевает, а мы всё равно ему что-то пихаем

orignal если очередь стала большой то дропать

orignal тогда весь поток будет сразу сливаться

orignal с NTCP2 такой проблемы нет

orignal просто встанет и все

Vort если же успевает, тогда и очереди не страшны - быстро рассосутся

Vort такс такс

Vort надо следить за ситуацией

Vort похоже опять сервер orignal`а жопнулся

Vort R4SAS: у твоего сервера показатели RAM в норме?

Vort ещё минус 1 сервер

Vort а сервер acetone`а держится. старая версия что ли?

orignal Vort короче разолбрались

orignal атака идет именно на дестнейшины

Vort то есть, у моего узла нету сервисов - вот его и не трогают?

Vort orignal: кстати, перед тем как твой сервер ушёл в оффлайн, мне перестали доходить от тебя сообщения

Vort но при этом мои сообщения до тебя доходили

orignal он ушел в оффлайн

orignal по моей собственной дурости

orignal я не туда посмотрел

Vort начиная с вот этого "orignal я сделал проще" мне уже не приходило

orignal и случайно не тот процесс прибил ))

Vort orignal: а сервер R4SAS почему был недоступен?

orignal у него упал

orignal потому что атакую рег

Vort как всё сложно

orignal там тысячи лизсетов

orignal короче похоже это именно тот баг про который сказал

orignal постоянный перезапрос лизсета

Vort так баг или атака? или атака с помощью бага? что-то я запутался

Vort SSU2 получается всё же не при чём?

Vort и профили не при чём?

orignal возможно и то и другое вместе

orignal профили это отдельная история

orignal я же сам видел

Vort слишком большая концентрация проблем на единицу времени

Vort может, один баг спровоцировал другой баг как-то?

orignal ну счас R4SAS смотрит что у него происходит

Vort "[22:07:32] <Vort> а сервер acetone`а держится. старая версия что ли?"

orignal с профилями я думаю где память просто побилось OOM

orignal так и илита бы держалась

orignal говорю же это баг у меня в голове был

orignal случайно процесс прибил

Vort а ночью почему отвал илиты был? тогда же ты процесс не прибивал

orignal та же бага думаю со стримами

Vort точнее, не ночью, а утром

orignal на самом деле это атака

orignal R4SAS видит десятки тысяч сессиий

Vort кластеры собирать надо

Vort по IP адреасам

Vort чтобы понять, откуда идёт

orignal надо разать стримы

Vort сессии имеются в виду NTCP2 и SSU2 ?

orignal нет в дестинешине reg

orignal ECIES

Vort а...

Vort "<~orignal> надо разать стримы" так надо же как-то разделять активность атакующего и реальных юзеров

Vort иначе креш убрать то уберёшь, но DoS так и останется DoS`ом

orignal ну вот я думаю

Vort в Tor вообще PoW против такой херни прикрутили

Vort но это слишком мудрёно

orignal если неактивный сокет закрываем его принудильно

Vort не связана ли эта активность с обсуждавшимся недавно заказом написания SAM либы?

orignal 100%

orignal без смонения

R4SAS Vort: если хочешь, покажу как оно выглядит

Vort R4SAS: до веб/IRC сервера запросы от атакующего доходят?

Vort или это атака чисто на i2pd ?

R4SAS думаю что не доходят

R4SAS у меня веб сервер логи не пишут - не могу скащать

Vort думаешь, повышенное потребление RAM из-за кучи ECIES сессий?

R4SAS не думаю, а вижу

Vort понятно. в принципе, атака довольно прямая

Vort странно, что раньше такого не было (ну или было, но я не помню)

Vort R4SAS: ну вот повод разобраться с этими aaaa

R4SAS только знать бы откуда эти аааааа берутся

Vort по-моему, жалобы на эту хрень были давно

R4SAS ощущение что приходит блок стрим с запросом подмененным

R4SAS потому что все стримы исходящие без ответа

Vort а ответы были в стиле "ну на работу сервиса ведь не влияет, так что пофиг"

R4SAS либо... оно приходит и висит как ааааа пока не дойдет очередь на ответ

Vort короч я подозреваю, что атака вполне может эксплуатировать какой-то баг

orignal короче все ясно

orignal и даже чьих рука

orignal могу рассказать атаку во всех подроьностях

onon Давай

onon Надеюсь это не я накосячил

orignal ну ты накосячил частично

onon Бля

orignal у тебя постоянно лизсет перезапршивается той стороны

orignal может часами

onon Постоянно, на всех стримах?

orignal а за атаккой стоит няша

orignal не уверен

orignal Vort увидел ошибку

orignal короче просиходил вылет по дескрипторам

orignal потому что кое кто создавал много стримов

orignal я поставил ограничение в 2048

orignal для входящих

orignal надо будет сделать параметром

orignal далее почему няша

onon Это поэтому я не мог час подключиться?

orignal потому что я сервер выключил

orignal пока чинил

onon Ок, давай про эту

onon Нехорошую

orignal няша вчера всем ебала мозги почему это у нее не хватает дескрипторов

orignal ни с того ни с сего

orignal теперь понятно по какой причине у нее не хватало

orignal думаю вопрос этот исчерпан

onon Я думаю нужно её найти, и сделать с ней что-нибудь плохое.

orignal надо только в конфиг параметр добавить

orignal зачем?

onon А чего она?

orignal если человек к этому возрасту настолько дурак то уже ничего не поможет

orignal а ты куда пропадал и так вовремя появился?

orignal как раз когда стал нужен

onon Я логи на майоре читаю

onon Вижу стримы шеймат

onon Заглянул

orignal типв в засаде сидел?

onon А так времени сейчас особо нету

onon Работаю

orignal ну понял

onon Ну как, пока только вникаю

orignal надо все таки перезапрос лизсета починить

orignal по нормальному а не как я

orignal кстати похоже это одна из причин потребления проца

onon Ну так там в стримах я вроде твою логику оставил

onon Своего не добавлял

orignal возможно

orignal но теперь она неверная

onon На данный момент я могу что-нибудь полезное сделать?

onon А то я через пару часов снова исчезну

onon У меня тут некоторые мысли появились по поводу SSU2

onon А что там за проблема с aaaaaaaaaaaaaaaaaaa.b32 дестнейшенами?

orignal onon а тем времеем G убрали для symmetric nat

orignal и знаешь почему?

onon Наверное потому, что я был против

orignal неее

orignal причина простая

onon Блин

orignal идет от роутера с G заппрос тоннеля

orignal и что это означает?

onon А так хотелось

onon Значит через него кто-то строит туннель

orignal так он G

orignal через него никто не строит

orignal это означает что это его собственный тоннель

orignal деанон

onon Логично

orignal там была атака XG ротеров

orignal которые всех засирали тоннелями

orignal тут дед и сообразил

onon Вот они таким образом и спалились

orignal а XG ротуеры через прокси причему не тор

orignal а с SSU2

onon Не так уж много прокси умеют UDP

orignal думаю shadowsocks там

onon А что там за проблема с aaaaaaaaaaaaaaaaaaa.b32 дестнейшенами?

orignal это значит пришел запрос на создание сессии со статическим ключем

orignal а сам лизсет не получен

orignal этот вопрос я проработаю

orignal но оно мало на что влияет сущесвенно

onon SAM умеет для тысяч дестинейшнов использовать один и тот же набор туннелей, или для каждого строит новые?

onon Я просто не в курсе

orignal думаю для каждого свои

orignal ясен пень что можно сделать чтобы переиспользовать но тут понимать надо

onon Я просто думаю, что эти тысячи туннелей и тысячи дестинейшенов/стримов могут быть как-то связаны

orignal да это сэм сесиии я думаю

orignal она настолько глупа что жаловоалсь на нехватку дескрипторов у нее ))

onon Ну так на её стороне получается столько же стримов будет

orignal естественно

orignal потому они у нее и заканчивались "ни с того ни с сего"

onon Надо продумать, чтобы запрос стрима требовал больше ресурсов

onon Какое-нибудь шифрование считать или ещё что

orignal как в торе?

onon Ну как и в клире

orignal придется

onon У меня тут ещё некоторые мысли про SSU2 есть.

onon Там протокол раширяемый или нужно SSU3 делать?

onon В RI ещё чего напихать можно? У него размер лимитирован?

orignal в RI сколько угодно

onon Тогда встаёт вопрос по работе с флудфилами и RI

onon Если RI могут быть очень большими

onon Их же постоянно пишут/читают на диск

onon Так вот нужно убрать эту фигню.

onon Нужно брать из RI только нужную информацию и хранить её в памяти

onon Чтобы весь RI с диска не грузить

onon Что-то вроде лайт версии RI

onon Или просто в профили добавить всё что может понадобиться

onon И брать оттуда

onon А профили все в памяти хранить

orignal мы ограничиваем 3K

orignal но можно увеличить

orignal мы так и делаем

orignal храним только нужное

orignal но

orignal когда запрашивают RI в ответ надо посылать подписанный буфер

orignal ага понятно что посиходит с aaaaaa.....b32.i2p

orignal новый стрим без лизсеты

orignal все. шах и мат шахматистке ))

orignal счас быстро прищучим такое

onon Это если на клиенте только исходящие туннели а входящих нет?

onon Или намеренно не шлёт лизсет?

orignal это я не знаю

orignal возможно просто бага

orignal это на сервере будет

orignal если прищел новый тоннель с адреса для которого нету лизсета

orignal в итоге сессиия есть а на какой адрес ведет непонятно потому что лизсет не прилетал

orignal возможно лизсет и приходил но какая то бага и он выкинлуся

orignal а теперь смотри

orignal из-за этого начинал перезапрашиваться лизсет в иногда тред отжирал полный кор