~AreEnn
~R4SAS
~orignal
~villain
&N00B
+Xeha
+relaybot
DUHOVKIN
Guest18377
HackerMan
KabaOS
Most2
Nausicaa
Ruskoye_911
Trusishka
Vort
`
acetone_
anon3
b3t4f4c3
mittwerk
nemiga
not_bob_afk
plap
poriori_
profetikla
segfault
soos
teeth
tensor
un
weko_
whothefuckami
orignal
Routers: 19781
orignal
что то многовато
Vort
рестарт узла давно был?
orignal
час назад
Vort
ну вот на отметке 1 час 1 минута резко прыгнет вниз
orignal
уже прошла
Vort
тогда может свежие коммиты что-то поменяли. у меня нормальное значение сейчас
Vort
Routers: 9125 Floodfills: 699 LeaseSets: 275
Vort
Client Tunnels: 50 Transit Tunnels: 10640
orignal
последний проверял
orignal
счас 15K но все равно многовато
orignal
интересно все же почему там стало мало фулдфилов?
orignal
не выдержали атаки?
Vort
не мало их. в реальности
Vort
за сутки насчитал 3677
orignal
думаешь потому что U?
Vort
получасовая чистка думаю влияет
orignal
то есть?
orignal
но мы из нее исключаем флудфилы
Vort
ну было же изменение, чтобы выкидывать некоторые routerinfo не через час, а через полчаса
Vort
тогда разбираться надо
orignal
да но это не флудфилы
Vort
в общем, RouterInfo приходят. я же сейчас на коммите с логированием
Vort
значит, потом выкидываются почему-то. надо разбираться, почему
Vort
не кидал ещё ссылки на коммит. сейчас найду
orignal
может адресов нужных нет?
orignal
ipv4 с IP
Vort
это мердж коммит, реальное изменение под ним
Vort
ну пока я базу не удалил, могу какие-то запросы погонять
Vort
надо подумать только, какие
orignal
искать в флагом f которые реально не флудфилы
Vort
у меня парсер говно. сейчас попробую сделать часовой срез f и выкинуть U из него
Vort
гляну, сколько будет
orignal
я то в коде не смотрб на U и R я смотрю на сами адреса
Vort
такс. всего за час (1706702400000 .. 1706706000000) словилось 1571 штук f
orignal
вопрос сколько среди них плохиз
Vort
ну вот буду сейчас ещё фильтры наворачивать
Vort
var floodfillsR = floodfills.Where(x => x.All(y => y.Reachability == 1)).ToArray();
Vort
вот таких вот 1113
Vort
а для того, чтобы смотреть IP мне надо парсер переделывать
Vort
ну и я могу их конечно просто выгрузить в файлы и вручную рассмотреть
Vort
выглядят нормально на первый взгляд. сейчас архив скину и ещё подумаю над фильтрацией
Vort
1113 штуки ^
Vort
у некоторых действительно нету ipv4
Vort
но насколько это массово пока ещё не разобрался
Vort
router.version=0.9.29 :))
Vort
их не так уж и мало кстати
orignal
тут понимешь какое дело
orignal
0.9.29 скорее всего эдь гамаль
orignal
а мы такие выкидываем
Vort
да я понимаю
Vort
смотрю дальше
orignal
const int NETDB_MIN_FLOODFILL_VERSION = MAKE_VERSION_NUMBER(0, 9, 51); // 0.9.51
orignal
более того
Vort
var floodfillsRIPv4 = floodfillsR.Where(x => x.Any(y => y.IPv4 != null)).ToArray();
Vort
1053 штуки
Vort
сейчас ещё версию попробую отфильтровать
Vort
var floodfillsRIPv4v51p = floodfillsRIPv4.Where(x => x.All(y => int.Parse(y.Version.Split('.').Last()) >= 51)).ToArray();
Vort
880 штук
Vort
уже приближается к наблюдаемому нынче мною значению в 666 узлов
orignal
счас деду скажу
Vort
по скорости какой-то лимит есть?
orignal
да. есть минимум N вроде
Vort
по скорости всего 2 вылетели
Vort
что-то ещё не учли наверное
Vort
или баг у меня где-то
orignal
так адреса
Vort
ну всё равно результат не 1400, не 1000, как было недавно
Vort
ну я IPv4 проверку добавил, хоть и кривую
Vort
там протокол важен? я просто смотрел чтобы host= был и точек достаточно :)
orignal
достаточно любой с ipv4
orignal
а вот че
Vort
хотя я же не учёл ещё собственно меняющиеся U / R, но там сложно. фиг поймешь, как считать
orignal
если я не могу с ним соединиться то тоже выкидываю
orignal
то есть если IP публикует а соединения нет как было с китайцами я выкидываю
Vort
ещё несколько процентов же у меня зацензурены
Vort
плюс кто-то в оффлайн свалил
orignal
ну да
Vort
плюс у кого-то сеть глючит
Vort
так что реально нормальные флудфилы могли не пережить атак
orignal
тут смотри что еше
Vort
хотя надо будет ещё проверять и думать
orignal
если флуфдфил недостижим я его выкидываю на пару часо
orignal
может на дольше
Vort
а там багов быть не может? я почти не смотрел код профилировщика, но что-то слабо ему доверяю
orignal
вот надо посмотреть там
orignal
начинать надо с Transports.cpp
orignal
когда я не могу соединиться я что то делаю в профиле
orignal
<zzz> those are Vuze bittorrent clients
Vort
что ж они не обновляются?
orignal
<zzz> our agreement was what floodfills we _use_. I can't reach into old Vuze clients and make them not floodfill :)
orignal
потому что Vuze давно уже нет
orignal
его переименовали во что то там
Vort
вполне может быть, юзеры заметили, что 3 хопа во время атаки не строились на флудфилах, вот и поубирали флаг
Vort
хотя всё же как-то резко это произошло. ещё одна гипотеза, что многие флудфилы были от атакующих. атакующие ушли с свои флудифлы с собой забрали
orignal
да но 1200 примерно было годами
Vort
а тогда (годы назад) выкидывание тех, с которыми не получается связь, уже было сделано?
Vort
можно для какого-то тестового узла отключить это требование и посмотреть, сколько флудфилов наберётся в базе
Vort
ну или думать, какие ещё изменения были
orignal
<zzz> we talked about it before. my ff count is very flat this year. I do see a big drop around the time of our release late Dec.
orignal
дед тоже видит
orignal
выкиндывание с кем нет связи я думаю даже в релизе еще нет
orignal
точнее было но я уже не помню что именно я менял
Vort
сейчас покажу скриншот с metrics
Vort
помнишь, я говорил о прыжке вверх количества узлов? в декабре
Vort
так вот в то же время был прыжок вниз флудфилов
Vort
его сложнее заметить, но можно, если присмотреться
Vort
юзеры единомоментно так убежать не могли
orignal
мысль интересная
orignal
думаешь атакующие были.
Vort
ну я, конечно, не знаю точно. да и не разобрались мы из чего состоит всплеск на верхнем графике
Vort
я сейчас кое что интересное ещё обнаружил. на соседнем графике
Vort
я этот график, к сожалению, плохо понимаю
Vort
но там тоже отражается декабрьское событие
Vort
да и вообще красный график уже давно идёт вниз. фаерволлы исчезают? )
orignal
я посмотрел если роутер был недостижим я его на 2 часа выкидываю
orignal
можно изменить на час
Vort
надо бы изучить, сколько полудохлых узлов в сети
Vort
может, такой флудфил всё равно не в состоянии выполнять свои обязанности
Vort
ну то есть два варианта есть
Vort
или это временный глюк сети какой-то
Vort
или узел сильно перегружен и лучше его не трогать
Vort
в первом случае имеет смысл поменять на час
Vort
во втором - наоборот
orignal
строка 289 Netdb.cpp
Vort
а каких случаев больше - никто не изучал
orignal
я проверяю профиль только для флудфилов
orignal
!r->IsFloodfill () || !r->GetProfile ()->IsUnreachable ()
orignal
вот такая проверка
orignal
может ее убрать?
Vort
я хз как этот код работает
Vort
могу разве что посоветовать убрать тестово и посмотреть, как это повлияет на количество FF в базе
orignal
если флуфил то проверяет не был ли он недостижим за последние 2 часа
orignal
<zzz> we do that too, for all routers, not just ff, but only for about 8 minutes. 2 hours is a long time
orignal
вот его ответ
orignal
давай и мы попробуем изменить
Vort
говорю же - вопрос в том, какого фига он был недостижим
orignal
почему у нас с ними разница
orignal
рестартовал например
Vort
я просто видел полудохлые узлы и мне это не понравилось
Vort
ну и жертвы глюка пиртеста надо тоже учитывать
Vort
java же тоже глючит
Vort
сейчас пересчитаю процент глюченых флудфилов )
orignal
давай решай пошагово
orignal
решать
orignal
надо разобраться почему с ними расходится
orignal
<zzz> I'm flat between 1100-1400 ffs since Jan. 1 to today (on a non-ff)
Vort
потому что U к примеру
orignal
да но у них также будет
Vort
ну они же U флудфилы считают за флудфилы?
Vort
пересчитал процент U / R смен у флуфилов. сейчас добралось значение до 25%
Vort
Floodfills : 3771 / Reachability changed: 967 (25.6%)
orignal
нет конечно
Vort
всегда считал это особенностью java
orignal
что?
orignal
флудфил с U не считается флудфилом
Vort
по числам, кстати, сходится. если взять его 1250 да помножить на 0.7, то получится около 800, как и по моим расчётам
Vort
ещё один момент: " (on a non-ff)"
Vort
non-ff может накапливать RI
Vort
если я за сутки посчитаю, то у меня тоже за тыщу будет
orignal
то есть ты думаешь они все U считают флудфилами?
Vort
мне так казалось. точно не знаю
orignal
утверждает что нет
Vort
в таком случае расхождение может быть из-за того, что наблюдения были на не-флудфиле
Vort
у тебя нету не-ФФ узла для проверки?
orignal
есть
Vort
и сколько там Floodfills ?
Vort
тоже около 700 ? или выше?
orignal
Floodfills: 636
Vort
а вот это уже странно
Vort
FF понятно почему выкидывает - час времени просрочки
Vort
почему же не FF будет выкидывать?
orignal
он не выкидывает он просто не принимает
Vort
не принимает старые RI флудфилов?
orignal
принимает но флудфилом не считает
orignal
аналогично и U
Vort
хотя всё равно непонятно
orignal
а вот если флуфил был недостижим то просто выкидывает
Vort
короч это надо в java добавлять логирование и колупаться в их коде
Vort
угадать, видимо, не получится
orignal
ну я изменю время с 2 часов до 8 минут и поглядим
Vort
попробую угадать - "с 666 дойдёт до 888"
orignal
думаю что нет
orignal
но проверим
onon
У меня на всех роутерах от 700 до 800, и только на одном 1076
onon
1076 на том, который за натом
orignal
вот мы и пытаемся понять чем мы отличаемся от деда
onon
До декабрьской атаки, емнип, всегда было около 1к на всех роутерах
orignal
аналогично
orignal
вот мы и разбираемся
onon
Я думал, это обновление так работает, но фф стало меньше и на 2.49.0 роутерах
orignal
там давно ничего не менялось
onon
Еще я заметил пару дней назад кол-во роутеров начало расти.
onon
Уже выросло процентов на 20 в среднем.
onon
Графиков, к сожалению, не будет.
orignal
я тоже заметид
orignal
<zzz> actually looks like I was wrong, we don't pay attention to U cap
orignal
voila
Vort
про U и java понял. у меня тут другой вопрос возник
Vort
допустим, мы не считаем XfU за флудфил. но считаем ли мы его вообще за узел?
Vort
пройдёт ли к нему транзит допустим через нас?
orignal
да считаем
orignal
XfU мы считаем как XU