~AreEnn
~R4SAS
~acetone
~orignal
~villain
&N00B
+relaybot
DUHOVKIN_
Gamma
Guest7184
Most2
Nausicaa
Nikat
Ruskoye_911
Vort
Xeha
anon3
b3t4f4c3
fidoid
karamba_i2p
nemiga
not_bob_afk
onon
plap
poriori
profetikla
qend
segfault
soos
teeth
tetrimer_
uis
un
unlike
user
vade
weko
whothefuckami
jarvi
Обнаружена особенность standalone i2psnark: при запуске при чтении загруженных торрентов может писать в косоль о неверной длине загруженных файлов и их исправлении, хотя длина верная (он сам пишет два одниковых числа) и ничего исправлят
jarvi
Чтобы такого не было, надо перез закрытием консоли снарка **останавливать** в браузере все торренты, а потом уже закрыать крестиком консоль снарка.
orignal
а мы тут причем?
orignal
спрашивай у деда
jarvi
Так работает же всё, чего спрашивать, может только что-нибудь дописать на i2pd.readthedocs.io/en/latest/tutorials/filesharing , а то делаешь по инструкции, и не понятно, почему так выходит. Например, "Before closing I2PSnark console stop all torrents in a browser bittorrent panel".
orignal
ну сделай PR
orignal
я не понял они че не могут послать запрос убить I2CP ссесию из снарка?
Vort
по-моему, баг надо исправлять, а не "особенностью" называть
Vort
да и вообще R4SAS обещал передать информацию об этой проблеме
Vort
неужели такая сложная проблема, что до сих пор не починили?
orignal
а в чем баг то?
orignal
что если не нажать кнопку то сессия не завершается?
orignal
R4SAS кстати передал
Vort
File '...' exists, but has wrong length (expected 91835 but found 91835)
Vort
ясен хрен что такого не должно быть
orignal
бага-с
orignal
счас доелаю HolePunch
orignal
я тут кое чего нашел
orignal
как мы обрабатываем перепосылки при хэндшейке
orignal
похоже это источник ошибок в логе про неправильнуб расшифровку пакета
Vort
каких? Can't handle ECIES-X25519-AEAD-Ratchet message?
orignal
нет про SSU2
orignal
что неизвестный тип сообщения и тому подобное
Vort
а, ниже error уровень. понятно
Vort
полагаю, некоторые из них в любом случае останутся
Vort
но если станет меньше - будет хорошо, конечно
orignal
это явно перепосылки
Vort
(правда, меня больше спам на error уровне Can't open file беспокоит)
orignal
которые надо правильно дропать
orignal
а на некоторые слать ответ
orignal
can't open file возможно это выброшенные
orignal
по какой то ошибке
orignal
смотреть надо будет
Vort
у тебя они тоже сыпятся? воспроизвести сможешь?
orignal
не смотрел
Vort
у меня их тысячи
orignal
а какой нибудь пробовал отследить?
Vort
возможно, из-за "особенностей" моей сети. поэтому и спрашиваю, что у тебя
orignal
так не должно быть cna't open file
orignal
это где то в коде бага значит
Vort
понятно, что это баг. непонятно, у всех так много сыпет в лог или для такой фигни нужны специальные условия (которые есть у меня)
Vort
и что тут "следить"? проверить, нету ли на диске? ну нету
orignal
у меня есть но где то раз в минуту
orignal
проверить есть ли с ним транспорт например
orignal
есть ли про него еще что то в логе
orignal
далее надо понять по какой вообще причине требуется его грузить
Vort
единственное, что знаю - это ошибки любят вываливаться пачками
orignal
LrJF: 125.253.110.22:18073 => [2186:299] [itag:1585510702]
Vort
по 10 штук, по 100 штук
orignal
Can't open file /home/i2pd/.i2pd/netDb/rL/routerInfo-LrJFzGKbhh0q0bRQz2fFanLwyhFXOROS0jK~GOGXRYY=.dat
orignal
улавливаешь мысль?
orignal
это интродьюсер
orignal
который мы скорее всего выкинули
Vort
я на вкладке транспортов несколько штук попробовал найти - не нашлось
orignal
так ты пробуй последний
orignal
а у меня как видишь нашлось
Vort
чей интродьюсер? у меня R узел
orignal
ты кому то интродьюсер
orignal
то есть ты боб а это адрес чарли
orignal
допустим алиса отправла relay request
orignal
if (r && (r->IsUnreachable () || !i2p::data::netdb.PopulateRouterInfoBuffer (r))) r = nullptr;
orignal
вот и код в обработке relay request
orignal
у тебя есть такие ошибки?
orignal
SSU2: RelayRequest Alice's router info not found"
Vort
этой какой уровень?
Vort
могу включить на несколько секунд
orignal
warning
orignal
у меня таких дохуя
orignal
нет я думаю это не то но тоже интересно почему
Vort
в притык к Can't open file никаких интересных warn нету
Vort
только тот спам о котором ты недавно говорил - Unexpected message type
Vort
сейчас попробую debug поставить ненадолго
orignal
думаю не стоит
Vort
что-то нашлось. смотрю
orignal
ладно буду думать
orignal
счас переотправку HolePunch починю
Vort
NetDb: DatabaseLookup for Pv~HfV8~EkhX2jjY8Thm~~rr82oF8YjaeuqUc2Usbqk= received flags=9
Vort
NetDb: Requested RouterInfo Pv~HfV8~EkhX2jjY8Thm~~rr82oF8YjaeuqUc2Usbqk= found
Vort
RouterInfo: Can't open file D:\i2pd\netDb\rP\routerInfo-Pv~HfV8~EkhX2jjY8Thm~~rr82oF8YjaeuqUc2Usbqk=.dat
orignal
смотри что там в HandleDatabaseLookupMsg
orignal
небось та же подгрузка
orignal
if (PopulateRouterInfoBuffer (router))
orignal
таки есть
orignal
я вот что думаю
orignal
скорее всего мы запись на диск делаем в другом треде
Vort
ты же переносил что-то помню
orignal
то есть мы буфер то удаляем а на диск еще не записалось
Vort
и до того я такой фигни особо не видел. может по мелочам
orignal
вот из-за этого все и происходит
orignal
надо думать как чинить
orignal
а вот тут и понятна твоя особенность
orignal
вызванная медленным диском
`
Так что там со скармливаением ш2зв чатгапатой?
`
Vort? Или не ты узнал об этом..
`
Кто-то здесь пейсал..
`
Какой-то член ш2з-дев
Vort
"<~orignal> вызванная медленным диском" не только медленным, но и местами перегруженным торрентами и прочей фигнёй
Vort
`: я вообще не понял, о чём ты
Vort
к примеру, компиляцией VS2019 )) там не только диск перегружен, а вообще всё что можно
orignal
короче понятно что надо делать
orignal
buffer = it.second->GetSharedBuffer ();
orignal
it.second->DeleteBuffer ();
orignal
потом saveToDisk.push_back(std::make_pair(ident, buffer));
orignal
и уже после m_PersistingRouters = std::async (std::launch::async, &NetDb::PersistRouters,
orignal
this, std::move (saveToDisk), std::move (removeFromDisk));
orignal
короче думать надо как это чинить
orignal
блять еще одну лажу нашел
orignal
починил
Vort
всё равно Can't open лезут
orignal
ну значит не все починил
Vort
по ощущениям лезут примерно с тем же напором
orignal
у меня нет
orignal
похоже знаешь что у тебя?
Vort
за 10 минут аптайма 200 ошибок насыпалось
orignal
между SaveUpdates не успевает завершиться
orignal
поглядим дальше
Vort
типа минуту на диск пишет RI что ли?
Vort
если один сброс на второй наехал, то надо бы это в error писать
Vort
иначе фиг поймешь - у меня по error логам по крайней мере ничего не понятно
Vort
как сыпало, так и сыпет
Vort
диск, кстати, у меня не сильно перегружен сейчас
Vort
вот при старте узла - да, был перегружен
Vort
сейчас стабильная нагрузка в 20%
un
дык в линукс пишет на диск не на диск а в память . буффре
un
буфер
un
если только не пишешь слишком много. тогда iowait
un
или у тебя на винде ?
Vort
у меня винда
un
понял
orignal
там не раз в 10 минут а раз в минуту вроде
orignal
и за минуту вполне может не успеть записать пачку
Vort
только при запуске могло такое быть
orignal
if (mts >= lastManage + 60000) // manage routers and leasesets every minute
orignal
а если сделать через 3?
Vort
ты лучше скажи, могло ли раз глюкануть на старте, а потом продолжать и продолжать сыпать
Vort
старт у меня и 5 и 10 минут бывает
orignal
могло
orignal
но должно же обновляться
Vort
за сколько? за час должно обновиться всё?
orignal
да
Vort
я лучше часок подожду и проверю, перестанет ли сыпать
orignal
я вот думаю может вообще убрать это?
orignal
удаление буфера
Vort
я вообще не понимаю, что там в коде происходит, поэтому не могу советовать
orignal
я ориганальный подписанный буфер роутера скидываю на диск
orignal
и удаляю из памяти
Vort
это же оптимизация как я понимаю
orignal
ну так смотри если каждый длиной 3K и 10 тыс ротуеров это 30 мегов в памяти
Vort
так или иначе сохранять на диск всё равно надо
Vort
а значит надо понять, что за хрень происходит
Vort
короч по ощущениям сыпет ошибками равномерно. скорее всего, через час будет то же самое
orignal
сохрянять надо удвлять буфер из памяти не факт что надо
onon
Сделай флажок не удалять, и не удаляй на флудфиле
onon
Или наоборот для слабых только включать
Vort
если там где-то гонка между потоками, то она может создавать проблемы и без удаления буфера
Vort
баг найти надо блин!
Vort
иначе он будет ещё долго преследовать
orignal
if (buffer && !it.second->IsUnreachable ()) // don't save bad router
orignal
saveToDisk.push_back(std::make_pair(ident, buffer));
orignal
it.second->SetUnreachable (false);
orignal
не в этом ли все дело?
orignal
мы роутер не сохраняем а флаг почему то сбрасываем
Vort
меня вообще этот метод дёргания флага туда-сюда не радует. там легко допустить ошибку
Vort
но это так, просто вспомнилось
orignal
это вообще надо переделать нормально
orignal
там сплошные костыли
Vort
альтерантивный вариант - залогировать вообще всё, что может происходить с этими буферами и проследить по логу какой-то конкретный кейс
Vort
но я не знаю, будет ли на отдельном узле у меня ошибка сыпать
Vort
хотя знаю. будет
Vort
но хватит ли нынешнего логирования
Vort
или надо ещё что-то добавлять
Vort
те же записи на диск
Vort
чтобы исключить вариант гонки между записями
orignal
гонки междый записями быть не может
orignal
там вначале проверка
Vort
orignal: void ScheduleBufferToDelete () { m_IsBufferScheduledToDelete = false; };
Vort
похоже я зря запускал студию )
Vort
но если он никогда не удаляется... тогда откуда вообще проблема?
Vort
похоже я запутался
orignal
тьфу ты ))
orignal
а вот x3
orignal
скорее всего битый
orignal
счас погляжу
orignal
дальше
orignal
кто еще вызывает DeleteBuffer?
Vort
LoadRouterInfo
orignal
ну так он же в этот момент есть на диске
Vort
а вообще я так и не понял почему ты начал переделывать сохранение
Vort
у флудфила обычно недостатка в файлах нету
orignal
когда?
Vort
если их специально не грохнуть
Vort
ну вот это // we have something to save
Vort
я думаю, что дело не в том, что что-то не сохранилось
Vort
а в том, что грохнулось в неподходящий момент
orignal
это я попутно перелелал
orignal
потому что логически неверно
orignal
что значит грознулось?
Vort
// delete RI file
orignal
ну это надо глянуть
orignal
очень верное замечание
orignal
допустим мы стали удалять в другом треде
orignal
а тут он пояился
orignal
тут вопрос надо ставить так
orignal
а с какой стати он вообще лезет на диск за файлом
orignal
а лезет потом что буфера нета
orignal
а почему его нет?
orignal
это главный вопрос
orignal
второе это в принципе неправильно сбрасывать буфер сразу
Vort
сейчас просто наугад убрал r->DeleteBuffer () из NetDb::LoadRouterInfo. посмотрю, исчезнут ли ошибки
Vort
не исчезли
Vort
ещё больше насыпало
orignal
ты сделай лучше
orignal
ты сделай его пустым
Vort
попробую и так. долго собираться только будет
orignal
так там дело явно не в буфере
orignal
счас посмотрим дальше
orignal
мне непонятно как вообще буфер становится нулевым
Vort
по логике, особенно с тем багом (=false) такого не должно было быть вообще
Vort
если только этот bool не читался откуда-то с потолка из-за повреждения памяти
Vort
хотя вижуал студия обычно повреждения памяти не любит, так что скорее всего бы крешнуло
Vort
загадка в общем
orignal
а не может ли он например изначально быть нулевым
Vort
ну я вот убрал код из DeleteBuffer и пока что ошибок нету. но подожду, в позапрошлый раз они только через 10 минут начали сыпаться
orignal
таким образом получается что в какой то момент DeleteBuffer вызывается а запись на диск не происходит
Vort
у тебя как-то очень избирательно расставлены блокировки m_RouterInfosMutex
orignal
ори расставлены от фонаря
Vort
может ломаться сам по себе m_RouterInfos
Vort
и читать данные с потолка
orignal
в каком случае?
orignal
приведи пример колизии
orignal
я думаю возможно тут вот что
orignal
LoadRouterInfo вызвали
orignal
буфеп сбросили
orignal
а потом он взял и удалился с диска
Vort
предположительно, любой из m_RouterInfos.erase и for (auto& it: m_RouterInfos) в NetDb::SaveUpdated
Vort
но я не проверял, может они все в одном треде. но как-то не похоже
orignal
а erase разве не из SaveUpdate вызывается?
Vort
сейчас проверю
Vort
NetDb::AddRouterInfo допустим
Vort
а он из HandleNTCP2RouterInfoMsg
Vort
короч похоже что напали на след довольно интересной баги
Vort
у меня до сих пор нету ошибок после очистки DeleteBuffer
Vort
а этот DeleteBuffer по сути был под if (false)
orignal
зато в LoadRouterInfo не было if(false)
orignal
значит идет оно оттуда
Vort
я его убирал и сразу сыпало ошибки
orignal
да согласен надо мьютекс поменять
orignal
поставь перед for (auto& it: m_RouterInfos)
orignal
и убери изнути цикла и увидим
orignal
LoadRouterInfo только при старте
orignal
и да скорее всего ты прав
orignal
интератор стал невалидным
orignal
и мы удаляем не то что должны
Vort
сейчас попробую
Vort
и у меня есть предположение, как false мог стать true. студия в дебаг режиме, по-моему, при удалении объектов забивает память специальным значением
Vort
если что-то не так удалилось из-за недостаточного покрытия мьютекса, то на вот такой объект-зомби итерация могла попасть
Vort
ну это предположение
Vort
последний коммит себе пока не вливаю. попробую переставить мьютекс не трогая баг с false
Vort
то есть, вернув в DeleteBuffer баганутое содержимое
Vort
а тьфу. глупость написал
Vort
ну не важно. собираю
Vort
но подозреваю что могу в двойную блокировку вляпаться
Vort
с переставленным lock_guard всё равно насыпало ошибок
Vort
точно true пришло от зомби
Vort
m_IsBufferScheduledToDelete true (0xcd) bool
Vort
cdcdcdcd - это как раз значение, которым студия забивает удалённые объекты
Vort
хотя... может ещё и неинициализированные
Vort
orignal: ты же инициализацию m_IsBufferScheduledToDelete не во все конструкторы прописал
Vort
наверно в этом бага
Vort
по крайней мере, надо проверить этот вариант
Vort
а если не поможет - тогда искать дальше
Vort
* 0xCDCDCDCD : Used by Microsoft's C++ debugging runtime library to mark uninitialised heap memory
Vort
* 0xDDDDDDDD : Used by Microsoft's C++ debugging heap to mark freed heap memory
orignal
ну и какой вывод?
Vort
сейчас тестирую добавление m_IsBufferScheduledToDelete (false) в ещё два конструктора
Vort
может одно из них лишнее правда
orignal
думаю дело в этом
orignal
а в & вот здесь for (auto& it: m_RouterInfos)
orignal
да ты прав в один забыл
Vort
сейчас через GHA соберётся и сразу на основной узел накатаю
Vort
за 10 минут аптайма ни одной Can't open ошибки. по сравнению с 200 ошибками в прошлый раз
Vort
так что переделка мьютекса может и подождать. но то как хочешь
Vort
а вот инициализацию починить надо
orignal
я уже починил
orignal
последний коммит