#dev (ilita) | Обсуждение разработки I2Pd | i2pd development discussion | http://i2pd.website/

HidUserZ а там уже не важно какое значение будет

zzz we don't have expl. build rate in the UI either, so don't worry about UI compatibility :)

HidUserZ самого рейта

zzz ask me after the release

orignal will do

orignal HidUserZ wants to sort out all this stuff

HidUserZ в смысле ))

orignal что в смысле?

orignal я говорю что ты пытаешься в этой всей хуйне разобраться

HidUserZ [01:59:40] <~orignal> I can do it if you tell me the format

HidUserZ погоди, а что именно вы хотите включить?

orignal stat_tunnel.participatingTunnels.60m = 1,636.27;2,335.14;103.33%;555;555;555;

orignal вот что эти цифры означают?

orignal включить в RouterInfo это поле

weko HidUserZ: оно будет скакать в любом случае, так как параметры от которых зависит меняются. Так что ты не сделаешь так, чтобы оно не скакало

orignal чтобы они могли на stats.i2p учитывать

orignal но надо ж понимать что туда писать

weko Да)) надо))

HidUserZ orignal: а может не надо?

zzz we publish one time in 16 at random: rand(16) == 0

HidUserZ weko: аргументы будут?

orignal <zzz> jrandom stuff

orignal классика ))

HidUserZ +

weko В джаве 3% от всего времени отправляется

orignal yes, acked

weko HidUserZ: я уже написал

zzz for the expl. tunnels, the last number is the % ^^^ 13.73% success rate

orignal zzz, floodfills only or every router?

zzz I'll have to figure out the rest, next week

HidUserZ спроси как success rate считается

zzz every router

weko Если ты хочешь брать за последнее время, то оно будет скакать потому что меняются роутеры

orignal HidUserZ, next week ))

HidUserZ weko: это уже будут не скачки а реальные показатели последнего времени

weko Много что меняется

weko И рандом играет основную роль

orignal weko лол

weko Ну а как ты отличишь их))

HidUserZ рандом на меньших масштабах

HidUserZ дальше идет уже показатели сети

weko Тем более они ничего не значат

orignal jrandom это не рандом ))

orignal это чувак такой был

weko ori

weko Я не про это

weko Я знаю что был

orignal а превратился уже в местный мем

HidUserZ orignal: мы про другое

weko Речь про другое

weko HidUserZ: локальные скачки не дают никакой полезной информации в основном))

weko Они рандомные

zzz the rest is probably garbage, just need the right number of ';'

zzz yes, jrandom stuff

HidUserZ вот именно, поэтому я уменьшаю коэффициент, доброе утро weko

zzz jrandom used to put a shitload of stats in the RI but we gradually commented almost all of it out

weko Моё мнение что нужно считать не так, чтобы получить полезную информацию

weko Нужно смотреть последние (например) 10 минут, 3 часа, день, неделю

weko И по ним строить график

orignal so can I just publish rate and nothing more?

weko И вот по этому графику можно будет видеть отклонения от нормы

weko Если конечно будет какая то норма

HidUserZ ну все, делай RP weko

orignal zzz also do you include compressibel padding to new release?

weko HidUserZ: залей мне в мозг c++

HidUserZ ))

weko Нет ну это конечно хорошо что тв детаешь хоть что-то, просто моё мнение что это не очень показательно

weko Это же не курс на бирже, чтобы применять сложные алгоритмы

weko Тут (почти) чистая случайность

weko Которую можно обрабатывать самым простым способом

weko Тоесть смотреть среднее за N времени, самое простое за последние N минут/часов/дней

weko И строить на этой базе график. Чем больше промежуток, тем меньше пиков

weko Можно смотреть высоту пиков, и увидеть в случае чего аномалии

weko Можно смотреть изменения плавные

weko Тоесть за неделю

weko Чтобы видеть общий тренд

zzz orignal, yes, compressible padding is in the release

zzz orignal, I'll have to research the format and the stats.i2p parser, ask me after the release

HidUserZ 0xff.i2p/0n.png написал свой алгоритм скользящего среднего. сводится намного быстрее

orignal sue

orignal *sure

HidUserZ 0xff.i2p/0T.png вот так ведет себя, когда истинное среднее меняется с 0.3 до 0.6

weko Хотя скользящее среднее может быть удобнее, но его тоже ещё нужно правильно сделать, чтобы зависел от времени, а не от количества

Vort мне больше нравится идея использовать проверенные алгоритмы

HidUserZ ну вот только что проверил ))

Vort помню, что в деле фильтрации не бывает ничего "бесплатно", всегда есть сюопризы

HidUserZ от основного алгоритма отличается только тем, что в начале коэффициент больше для быстрой сходимости

Vort и лучше о них прочитать в литературе

HidUserZ именно в начале

weko Vort: проблема в том, что аналогов сети i2p нет, и нет проверенных алгоритмов для неё

Vort weko: это обычная обработка данных. эти алгоритмы десятилетиями прорабатывались

weko Поэтому нужно думать самим)) поэтому я и предлагаю самое простое

weko Данных каких?

weko Главный вопрос

weko И что они покажут

Vort в данном случае нулей и единиц

weko Нам же нужно использовать то, что покажет полезную информацию

HidUserZ ну вы посмотрите на график, работает прекрасно

weko А не то, что просто выдаст какое то число

weko Hi

Vort покажут среднее значение нужной гладкости. гладкость крутится параметром

weko HidUserZ: работать то работает, но полезно ли?

HidUserZ да

weko Окей, а там зависит от количества попыток или прошедшего времени?

HidUserZ каких попыток?

HidUserZ смотри

weko Создания туннелей

HidUserZ я поменял только алгоритм подсчета

HidUserZ я не менял источник данных

weko я понимаю

weko Но в любом случае то?

HidUserZ на счет тоннелей не знаю

HidUserZ в коде не смотрел еще

weko Время учитывается хоть как то?

HidUserZ время нет

weko Если нет, тогда график не построишь

weko Ну точнее он будет не точным

HidUserZ ?

HidUserZ ну у меня X это попытки

HidUserZ все

HidUserZ что еще надо

weko Ну надо для анализа чтобы значение зависело только от процента, никак не от количества туннелей пользователя)

weko Иначе выходит неравномерность

Vort weko: тут проблема в другом

weko И график будет не точным

weko Vort: в чём

Vort если данные просто равномерно зашумлены, то не важно, сколько туннелей

Vort шум всё равно вычистится одинаково эффективно

HidUserZ weko: не зависит. от количества тоннелей зависит только скорость сходимости

Vort но если есть какие-то не шумовые колебания, то они могут пролезть (или не пролезть) в зависимости от времени

weko HidUserZ: ну вот, а значит график не равномерный))

HidUserZ почему график должен быть равномерный?)

Vort HidUserZ: допустим, реальный показатель колеблется по времени

weko Vort: это тоже, да)

weko HidUserZ: потому что это график)))

weko )))

Vort тогда в зависимости от частоты семплирования, так сказать, это колебание или сожрётся фильтром или нет

Vort можно хотеть его оставить, можно хотеть задавить - не суть

Vort важно, что от разной частоты сбора данных будет различаться поведение

weko Я предлагаю самое простое, дальше как хотите. Я пойду. Если надо, могу описать оптимальный алгоритм, который я придумал для этого варианта. (Возможно лучше посмотреть какие ещё есть)

weko Vort: вооооот, поэтому я предлагаю несколько цифр

Vort weko: (наугад) en.wikipedia.org/wiki/Kolmogorov%E2%80%93Zurbenko_filter ?

Vort (я только вот это прочёл) The KZ filter has two parameters, the length m of the moving average window and the number of iterations k of the moving average itsel

Vort то есть, многоуровневое скользящее среднее

Vort может, я фигню сказал )

weko Похоже на то

Vort уж очень хотелось бы найти что-то готовое

weko Да

weko Согласен

Vort не потому, что придумывать лень, а чтобы сюрпризов меньше было

Vort вот EWMA неплох. но можно подумать ещё

weko Очень похоже по описанию, но точно сказать не могу, ибо там сложные формулы какието))

Vort точнее, поискать

Vort ха. у меня с математикой тоже дружба не очень

weko Я согласен что нужно думать

weko Спешить тут не надо

Vort ну, как по мне, можно и EWMA воткнуть, а потом дальше думать )

weko Не, если сесть разобраться, то думаю понять можно

weko Vort: можно

weko Но старое удалять не надо всё равно)))

HidUserZ Tunnel creation success rate: -2147483648%

weko Ухххх

Vort хы

weko хых

Vort я про сюрпризы не просто так говорил

HidUserZ да я понимаю ))

Vort вот такие вот системы любят уходить в осцилляцию

Vort поэтому я всё время предпочитал FIR вместо IIR

Vort сделать IIR правильно - это непросто

HidUserZ формулу неправильно переписал

Vort :D

Vort и IIR фильтр, зараза, может работать месяцами нормально, а потом как переклинит...

Vort одним графиком не обойтись для доказательства, что такого не произойдёт

Vort тут жуткая математика нужна :(

weko Я вот ещё думаю, можно ли мой вариант сделать без задержки

weko С задержкой всё просто

weko Одно дело когда задержка 10 секунд на 10 минутном среднем (не значительно), а другое когда на минутном

weko Ещё подумаю

Vort я уже лет 10 пытаюсь фильтры понять...

Vort и всё время находится что-то, что я в них не понимаю

weko Хых......

Vort задержки, к примеру, влияют на амплитудно-фазовую характеристику

Vort уменьшаешь задержку - ухудшается линейность фазовой характеристики

Vort это всё интересно, конечно...

weko Я подумал... Без задержки (скорее всего) не выйдет, сама задержка будет зависеть от желаемой нагрузки на процессор. Или же без задержки будет слишком большая нагрузка (и по памяти, и по CPU)

weko Например, задержка 1 секунду будет значить пересчёт раз в секунду

weko Пересчёт там O(1)

weko Вроде как

Vort (я тут нифига не понимаю, но вдруг интересно) dsprelated.com/freebooks/filters/Minimum_Phase_Filters.html

Vort тут есть про задержки )

weko Можно сделать её очень маленькой, кстати говоря (вроде как). Но в i2pd это смысла не имеет, ибо так часто туннели не создаются

weko Можно почитать будет)) когда не будет болеть голова

orignal так все читаем ченжлог для 2.45.0

orignal R4SAS жду тебя

weko А, уже?! Релиз? Бегу читать?

weko !

Vort опечатки сообщать надо?

Vort Symmnetric

orignal ну да поправлю

Vort caluclation

Vort timetamps

orignal понял

weko Короче моя идея в том, чтобы сократить операции O(n) до минимума самого n, тоесть брать минимально количество попыток, тоесть как можно меньшее время

weko Тоесть нужно найти оптимальное)) в i2pd я думаю просто, так как есть конкретные рейты попыток создания

weko Ну или можно просто взять число любое

weko Теже 10 секунд

weko Или 5 секунд

Vort пытаешься таки FIR сделать?

Vort EWMA это по сути IIR

orignal давайте комметарии я ничего не упустил?

weko И потом считать на базе этих точных интервалов более долгие промежутки

weko Я не знаю что такое FIR

weko orignal: а надо написать что SSU теперь игнорируется в netDb?

Vort в общем, есть две разновидности фильтров - с конечной импульсной характеристикой (FIR) и с бесконечной импульсной характеристикой (IIR)

Vort обычно перед тем, как делать фильтр, его выбирают из этих двух категорий

Vort не знаю, может, и можно делать что-то среднее

orignal ну я думаю что это понятно раз его совсем нет

Vort но я такого не видел

weko А ещё поменяй год в лицензии

weko Vort: если верить интуиции, то мой вариант это первое, а то что я сказал, что не получится - это то самое среднее

orignal да верно

weko Я хз

weko а тот баг с флудфидом его не надо?

weko Который у меня был

weko Можно ещё написать про оптимизацию памяти

weko Транзитные туннели которые)

orignal да там оптимизаций памяти много

weko Вот напиши))

orignal что за баг с флудфилом?

weko Который я тебе кидал

orignal ну это слишком рутинно ))

weko Месяц назад

weko Почти сразу после релиза

weko Понял))

orignal ааа ты про лизсеты

weko Да

orignal там есть

orignal в списке

weko Окей, там ещё коммит назывался memory pool for addresses

Vort про интервал обновления трафика не всё написано

Vort по сути исправлено вычисление 1 секундного интервала

orignal ну этот коммит по отпимизацию памяти

orignal ну это R4SAS пусть добавит

orignal я там не понял всей сути

weko Я бы ещё в комментариях к конфигу написал бы, что по умолчанию количество туннелей 10000 для флудфила

Vort верно

Vort и в документации хехе

weko Охххх уж эта документация!)

Vort или уже? я не проверил

weko Там всё переделывать надо

weko Ну точнее сильно дополнять

weko Могу попробовать заполнить "Select API for your project"

weko Ну и может сделать доку по настройке игрушек)))

Vort там хотя бы по строчке написать надо

Vort а то совсем неприлично

weko Да, я могу наверное

weko Хотя б просто табличку)),

Vort хочешь что-то накодить? вот тебе белая стена в роли информационной помощи

weko )

weko Я когда открыл такой : "чо"

Vort ага

weko А хде

HidUserZ *** ушел ***

acetone Routers: 11599 Floodfills: 1652 LeaseSets: 128

acetone Client Tunnels: 449 Transit Tunnels: 9411

acetone Зашел на сервер по делам, первый раз увидел такие показатели) транзитные туннели испокон веков стоян на 10к, но выше 3к никогда не видел реальное число)

weko acetone: мы тут уже как 2 недели это обсуждаем

acetone weko: краем глаза цеплял, ага

weko Повысили активность этого канала :)

weko orignal: ты наверное знаешь про этот баг, но всё равно напишу.

weko Сторона A - сервер

weko Сторона B - клиент

weko Оба запущены

weko B: подключается к A (как минимум получает лиссет)

weko A: перезагружает роутер

weko B: вынужден ждать до 10 минут или перезагрузить роутер, потому что теперь ни один из туннелей в его локальном лиссете не работает. (лиссет устарел)

weko Я предлагаю при неудачной попытке соединения пытаться искать лиссет ещё раз

weko Это и в джаве также работает

weko Согласен что ситуация специфичная, но во время теста соединения может сильно мешать, особенно если человек про это не знает

weko Мы вот в #games часто натыкались на такую ситуацию

` Думаю, что знает.

` Я сталкивался с этим на RetroShare(c)(R)[TM] и наверняка "ныл" об этом.

Opicaak Has the 2.45.0 version been finalized? Or are any changes still expected to happen?

weko А ещё наверное не надо выключать Floodfill при Firewalled, ибо FW может быть не настоящим

` user_, 9nd January.

weko Opicaak: planned to release in near future

Opicaak ok, thanks

weko Maybe today.

weko orignal releaseing it before java i2p, becouse this release have important bugfixes

weko As soon as possible *

` will hope..

Opicaak Just asking because there is already a changelog for 2.45.0.

Opicaak on i2pd's github page

weko Yes

orignal weko насчет лизсетов это не баг

orignal это пока не понятно как делать

weko Скорее баг

weko Типо понятно почему так происходит

orignal так не баг это

orignal это так сеть работает

weko Ну это понятно

weko Но можно исправить в роутере

orignal просто другие держат старый лизсет

orignal и не перезапрашивают пока он не протухнет

weko Запрашивать лиссет второй раз при неудачном соединении

weko Ну вот

weko Это клиентская фигня

weko Значит можно исправить

orignal а если просто тоннель протух?

orignal откуда ты знаешь подох весь лизсет или один тоннель?

weko Нц мы его удадяем из лиссетов, там же таймстемпы

weko Ну... Можно в любом случае свежий запрашивать

weko Так всё равно лучше будет

weko Ну максимум 2 раза в итогк

weko Или например максимум 2 раза в минуту, не знаю как лучше

orignal ну так много вариаетов есть просто не сделано

weko Да, например все туннели сдохли

weko Тоже тогда лиссет старый выходит

weko Короче для стабильности и предсказуемости надо сделать

weko Самое простое это максимум один раз при неудачном коннекта запрашивать у флудфилов ещё раз

weko Возможно нужно по-другому сделатт

weko Не знаю; но это в любом случае не только при рестарте роутера может быть

weko Например все туннели одновременно протухли

weko Если хотим стабильность, надо сделать чтобы при такой ситуации не пришлось 10 минут ждать

orignal если тебе интересно посмотри Streaming.cpp там довольно сложная логика

zzz orignal, HidUserZ, stats in RI spec: zzz.i2p/topics/3515

orignal thanks

zzz I will probably fix java i2p to remove all the unused garbage

orignal good idea

zzz :)

orignal smaller RI

weko Smeller RI = good RI :)

weko orignal: имеешь ввиду, что это не так просто, как кажется?

orignal я хочу сказать что там сожная логика

orignal которую менять тоже надо сложно

weko Не понял. Надо сделать проще, или сложно менять?

orignal надо поменять так чтобы ничего не поломать

Vort туда что - произвольные данные можно пихать? O_o

Vort гигабайтами?

Vort EICAR test file - первый кандидат тогда )

Vort хотя нет, если будет лежать в средине файла, то не сработает

orignal ну это маньяна ))

Vort там хоть какая-то проверка (на размер хотя бы) есть?

orignal размер чего я не понял

Vort файла routerInfo

Vort если нету, то эти файлы можно как хостинг использовать ) не знаю, правда, зачем и какие угрозы от этого могут быть. но мне кажется, что и причины и угрозы могут найтись

orignal 3K вообще то у нас

Vort а, ну тогда (почти) не страшно

orignal const size_t MAX_RI_BUFFER_SIZE = 3072;

orignal там вопрос в другом

weko Этих файлов же можно нагенирить тоннами

orignal они не всегда лезут в один пакет SessionConfirmed в SSU2

weko И слать в сеть

orignal а дробление на фрагменты это лишние потери

orignal потому уменьшение размера RI этл прямой интерес

weko Да, нужно лимит уменьшить ещё тогда

weko Хотя... Вдруг ещё транспортов добавится

weko Согласен, запас быть должен

weko Существует ли угроза спама RI? Порядочные пиры же не сообщают другим о нерабочих RI, верно?

orignal нет бывает что нужно больше реально

Vort ну флуд то понятно, что проблема

orignal нет никто никому не сообщает для этого есть профилировщики

weko Спам (любой) в сети зависит от количества спамящих узлов и ограничений

weko Поэтому я считаю что нужно сделать что зависит от нас - ограничения

weko Как минимум чтобы порядочные узлы не спамили

R4SAS orignal: сейчас начну изучать

R4SAS *** успел вчера прибить систему и переустановить её за сутки ***

weko сутки генту ставил? )

orignal R4SAS там два вопрос

orignal с интервалами 1 и 15 секунд

orignal и грамматические ошибки )))

orignal я извиняюсь за них я вчера был малость бухой ))

weko бывает)

R4SAS orignal: а что с мнтервалами:

R4SAS ?

orignal я не знал как правильно это изменение написать

R4SAS ладно, сейчас гляну

R4SAS хорошо иметь 2 диска на ноуте, на второй вытащил всё, переустановил под чистую на первом, и обратно развернул

weko да

weko хорошо

orignal достаточно /home на другом разделе )))

R4SAS нифига не достаточно, когда диск нужно иногда извлекать

weko а ещё лучше на другом компе)) ну или на другой планете )) xD

` Пинг пару часов, м-м-м..

weko ух

weko мощь

weko Vort: можешь посоветовать хорошой GeoIP сервис с апи? хочу написать скрипт для определения, где находятся айпи, куда гавно-порт приходит. ведь он не на все приходит, а значит можно посмотреть куда именно

weko вдруг это какой то маршрутизатор чудит. не обсоса

weko а там дальше

R4SAS GeoIP MaxMind

R4SAS базы даже на гх есть

Vort weko: с API не знаю. но вот сюда можно сотню засунуть: infobyip.com/ipbulklookup.php

weko спасиб

R4SAS кто готов еще раз пройтись по коду глазами?

R4SAS github.com/PurpleI2P/i2pd/compare/2.44.0...openssl

R4SAS если желающих нет, то я тегаю

Vort github.com/PurpleI2P/i2pd/blob/openssl/contrib/i2pd.conf#L240

Vort не поменяли

R4SAS лимит?

R4SAS ща

Vort коммент лимита, да

R4SAS обновил

Vort для флудфилов же ещё исключение

Vort 2x то есть

R4SAS где такое?

Vort или это можно не писать, чтобы не путать юзеров?

Vort сейчас найду

R4SAS я не видал в коде

R4SAS (либо промотал)

Vort github.com/PurpleI2P/i2pd/commit/d5b03f214bf425beaa8ebf3a0ce420051f8a43ef

R4SAS а... не, наверно не будем

Vort ок

R4SAS лучше это в доках описать

Vort хорошо

R4SAS конечно можно и сбда дописать

R4SAS м...

R4SAS ладно, допишу

R4SAS звлил. еще нюансы?

Vort по-моему опять не так (

Vort мне кажется, что удвоение только для стандартного значения

Vort а переопределённоё берётся как есть

Vort но могу ошибаться

Vort ну а кроме этого я проблем не вижу

Vort но это не значит что их нет. лучше чтобы ещё кто-то глянул

R4SAS Vort: нет, удвоение идет для считанного значения

R4SAS а хотя да

R4SAS orignal_: а нафига?

orignal что нафига?

R4SAS зачем во первых удваивать, и зачем удваивать для дефолта только

orignal дефолт 5 а если кто флудфил ставит то будет 10

R4SAS ну поставлю я 4999 и чо

R4SAS я не понимаю зачем только дефолт поднимать

R4SAS *** отошел ***

orignal если ты ставишь 4999 это твой выбор

orignal а большинство не трргает

orignal я просто для флудфила сделал 10K

R4SAS ок

orignal R4SAS давай релиз делать

R4SAS orignal: сейчас тегну, погодь

orignal годю

R4SAS "клуб 200" не может ждать тоже )))

R4SAS залил

orignal что за клуб 200?

R4SAS вспоминай контекст ))

weko клуб 200 - клуб мёртвых?

weko поэтому не может ждать?

R4SAS orignal: пишешь?

orignal еще нет

orignal занят малость

orignal так пока сделай я напишу потом

R4SAS еба

R4SAS на ланчпаде очередь на сборку

orignal ээээ

R4SAS 2174 jobs (5 hours 50 minutes)

R4SAS посмотрим как быстро пробьет

weko хых... хых......

weko )

weko 6 часов.... хоть не 50)