IRCaBot 2.1.0
GPLv3 © acetone, 2021-2022
#dev
/2024/01/31
~AreEnn
~R4SAS
~orignal
~villain
&N00B
+relaybot
DUHOVKIN
Most2
Nausicaa
Vort
Xeha
`
acetone_
anon2
b3t4f4c3
flumental
karamba_i2p
nemiga
not_bob_afk
onon
plap
poriori_
profetikla
soos
teeth
tensor
un
weko
whothefuckami
orignal Routers: 19781
orignal что то многовато
Vort рестарт узла давно был?
orignal час назад
Vort ну вот на отметке 1 час 1 минута резко прыгнет вниз
orignal уже прошла
Vort тогда может свежие коммиты что-то поменяли. у меня нормальное значение сейчас
Vort Routers: 9125 Floodfills: 699 LeaseSets: 275
Vort Client Tunnels: 50 Transit Tunnels: 10640
orignal последний проверял
orignal счас 15K но все равно многовато
orignal интересно все же почему там стало мало фулдфилов?
orignal не выдержали атаки?
Vort не мало их. в реальности
Vort за сутки насчитал 3677
orignal думаешь потому что U?
Vort получасовая чистка думаю влияет
orignal то есть?
orignal но мы из нее исключаем флудфилы
Vort ну было же изменение, чтобы выкидывать некоторые routerinfo не через час, а через полчаса
Vort тогда разбираться надо
orignal да но это не флудфилы
Vort в общем, RouterInfo приходят. я же сейчас на коммите с логированием
Vort значит, потом выкидываются почему-то. надо разбираться, почему
Vort не кидал ещё ссылки на коммит. сейчас найду
orignal может адресов нужных нет?
orignal ipv4 с IP
Vort это мердж коммит, реальное изменение под ним
Vort ну пока я базу не удалил, могу какие-то запросы погонять
Vort надо подумать только, какие
orignal искать в флагом f которые реально не флудфилы
Vort у меня парсер говно. сейчас попробую сделать часовой срез f и выкинуть U из него
Vort гляну, сколько будет
orignal я то в коде не смотрб на U и R я смотрю на сами адреса
Vort такс. всего за час (1706702400000 .. 1706706000000) словилось 1571 штук f
orignal вопрос сколько среди них плохиз
Vort ну вот буду сейчас ещё фильтры наворачивать
Vort var floodfillsR = floodfills.Where(x => x.All(y => y.Reachability == 1)).ToArray();
Vort вот таких вот 1113
Vort а для того, чтобы смотреть IP мне надо парсер переделывать
Vort ну и я могу их конечно просто выгрузить в файлы и вручную рассмотреть
Vort выглядят нормально на первый взгляд. сейчас архив скину и ещё подумаю над фильтрацией
Vort 1113 штуки ^
Vort у некоторых действительно нету ipv4
Vort но насколько это массово пока ещё не разобрался
Vort router.version=0.9.29 :))
Vort их не так уж и мало кстати
orignal тут понимешь какое дело
orignal 0.9.29 скорее всего эдь гамаль
orignal а мы такие выкидываем
Vort да я понимаю
Vort смотрю дальше
orignal const int NETDB_MIN_FLOODFILL_VERSION = MAKE_VERSION_NUMBER(0, 9, 51); // 0.9.51
orignal более того
Vort var floodfillsRIPv4 = floodfillsR.Where(x => x.Any(y => y.IPv4 != null)).ToArray();
Vort 1053 штуки
Vort сейчас ещё версию попробую отфильтровать
Vort var floodfillsRIPv4v51p = floodfillsRIPv4.Where(x => x.All(y => int.Parse(y.Version.Split('.').Last()) >= 51)).ToArray();
Vort 880 штук
Vort уже приближается к наблюдаемому нынче мною значению в 666 узлов
orignal счас деду скажу
Vort по скорости какой-то лимит есть?
orignal да. есть минимум N вроде
Vort по скорости всего 2 вылетели
Vort что-то ещё не учли наверное
Vort или баг у меня где-то
orignal так адреса
Vort ну всё равно результат не 1400, не 1000, как было недавно
Vort ну я IPv4 проверку добавил, хоть и кривую
Vort там протокол важен? я просто смотрел чтобы host= был и точек достаточно :)
orignal достаточно любой с ipv4
orignal а вот че
Vort хотя я же не учёл ещё собственно меняющиеся U / R, но там сложно. фиг поймешь, как считать
orignal если я не могу с ним соединиться то тоже выкидываю
orignal то есть если IP публикует а соединения нет как было с китайцами я выкидываю
Vort ещё несколько процентов же у меня зацензурены
Vort плюс кто-то в оффлайн свалил
orignal ну да
Vort плюс у кого-то сеть глючит
Vort так что реально нормальные флудфилы могли не пережить атак
orignal тут смотри что еше
Vort хотя надо будет ещё проверять и думать
orignal если флуфдфил недостижим я его выкидываю на пару часо
orignal может на дольше
Vort а там багов быть не может? я почти не смотрел код профилировщика, но что-то слабо ему доверяю
orignal вот надо посмотреть там
orignal начинать надо с Transports.cpp
orignal когда я не могу соединиться я что то делаю в профиле
orignal <zzz> those are Vuze bittorrent clients
Vort что ж они не обновляются?
orignal <zzz> our agreement was what floodfills we _use_. I can't reach into old Vuze clients and make them not floodfill :)
orignal потому что Vuze давно уже нет
orignal его переименовали во что то там
Vort вполне может быть, юзеры заметили, что 3 хопа во время атаки не строились на флудфилах, вот и поубирали флаг
Vort хотя всё же как-то резко это произошло. ещё одна гипотеза, что многие флудфилы были от атакующих. атакующие ушли с свои флудифлы с собой забрали
orignal да но 1200 примерно было годами
Vort а тогда (годы назад) выкидывание тех, с которыми не получается связь, уже было сделано?
Vort можно для какого-то тестового узла отключить это требование и посмотреть, сколько флудфилов наберётся в базе
Vort ну или думать, какие ещё изменения были
orignal <zzz> we talked about it before. my ff count is very flat this year. I do see a big drop around the time of our release late Dec.
orignal дед тоже видит
orignal выкиндывание с кем нет связи я думаю даже в релизе еще нет
orignal точнее было но я уже не помню что именно я менял
Vort сейчас покажу скриншот с metrics
Vort помнишь, я говорил о прыжке вверх количества узлов? в декабре
Vort так вот в то же время был прыжок вниз флудфилов
Vort его сложнее заметить, но можно, если присмотреться
Vort юзеры единомоментно так убежать не могли
orignal мысль интересная
orignal думаешь атакующие были.
Vort ну я, конечно, не знаю точно. да и не разобрались мы из чего состоит всплеск на верхнем графике
Vort я сейчас кое что интересное ещё обнаружил. на соседнем графике
Vort я этот график, к сожалению, плохо понимаю
Vort но там тоже отражается декабрьское событие
Vort да и вообще красный график уже давно идёт вниз. фаерволлы исчезают? )
orignal я посмотрел если роутер был недостижим я его на 2 часа выкидываю
orignal можно изменить на час
Vort надо бы изучить, сколько полудохлых узлов в сети
Vort может, такой флудфил всё равно не в состоянии выполнять свои обязанности
Vort ну то есть два варианта есть
Vort или это временный глюк сети какой-то
Vort или узел сильно перегружен и лучше его не трогать
Vort в первом случае имеет смысл поменять на час
Vort во втором - наоборот
orignal строка 289 Netdb.cpp
Vort а каких случаев больше - никто не изучал
orignal я проверяю профиль только для флудфилов
orignal !r->IsFloodfill () || !r->GetProfile ()->IsUnreachable ()
orignal вот такая проверка
orignal может ее убрать?
Vort я хз как этот код работает
Vort могу разве что посоветовать убрать тестово и посмотреть, как это повлияет на количество FF в базе
orignal если флуфил то проверяет не был ли он недостижим за последние 2 часа
orignal <zzz> we do that too, for all routers, not just ff, but only for about 8 minutes. 2 hours is a long time
orignal вот его ответ
orignal давай и мы попробуем изменить
Vort говорю же - вопрос в том, какого фига он был недостижим
orignal почему у нас с ними разница
orignal рестартовал например
Vort я просто видел полудохлые узлы и мне это не понравилось
Vort ну и жертвы глюка пиртеста надо тоже учитывать
Vort java же тоже глючит
Vort сейчас пересчитаю процент глюченых флудфилов )
orignal давай решай пошагово
orignal решать
orignal надо разобраться почему с ними расходится
orignal <zzz> I'm flat between 1100-1400 ffs since Jan. 1 to today (on a non-ff)
Vort потому что U к примеру
orignal да но у них также будет
Vort ну они же U флудфилы считают за флудфилы?
Vort пересчитал процент U / R смен у флуфилов. сейчас добралось значение до 25%
Vort Floodfills : 3771 / Reachability changed: 967 (25.6%)
orignal нет конечно
Vort всегда считал это особенностью java
orignal что?
orignal флудфил с U не считается флудфилом
Vort по числам, кстати, сходится. если взять его 1250 да помножить на 0.7, то получится около 800, как и по моим расчётам
Vort ещё один момент: " (on a non-ff)"
Vort non-ff может накапливать RI
Vort если я за сутки посчитаю, то у меня тоже за тыщу будет
orignal то есть ты думаешь они все U считают флудфилами?
Vort мне так казалось. точно не знаю
orignal утверждает что нет
Vort в таком случае расхождение может быть из-за того, что наблюдения были на не-флудфиле
Vort у тебя нету не-ФФ узла для проверки?
orignal есть
Vort и сколько там Floodfills ?
Vort тоже около 700 ? или выше?
orignal Floodfills: 636
Vort а вот это уже странно
Vort FF понятно почему выкидывает - час времени просрочки
Vort почему же не FF будет выкидывать?
orignal он не выкидывает он просто не принимает
Vort не принимает старые RI флудфилов?
orignal принимает но флудфилом не считает
orignal аналогично и U
Vort хотя всё равно непонятно
orignal а вот если флуфил был недостижим то просто выкидывает
Vort короч это надо в java добавлять логирование и колупаться в их коде
Vort угадать, видимо, не получится
orignal ну я изменю время с 2 часов до 8 минут и поглядим
Vort попробую угадать - "с 666 дойдёт до 888"
orignal думаю что нет
orignal но проверим
onon У меня на всех роутерах от 700 до 800, и только на одном 1076
onon 1076 на том, который за натом
orignal вот мы и пытаемся понять чем мы отличаемся от деда
onon До декабрьской атаки, емнип, всегда было около 1к на всех роутерах
orignal аналогично
orignal вот мы и разбираемся
onon Я думал, это обновление так работает, но фф стало меньше и на 2.49.0 роутерах
orignal там давно ничего не менялось
onon Еще я заметил пару дней назад кол-во роутеров начало расти.
onon Уже выросло процентов на 20 в среднем.
onon Графиков, к сожалению, не будет.
orignal я тоже заметид
orignal <zzz> actually looks like I was wrong, we don't pay attention to U cap
orignal voila
Vort про U и java понял. у меня тут другой вопрос возник
Vort допустим, мы не считаем XfU за флудфил. но считаем ли мы его вообще за узел?
Vort пройдёт ли к нему транзит допустим через нас?
orignal да считаем
orignal XfU мы считаем как XU