Vitaliy
Будут
по меньшей мере понятно как получить консистентность записи
Roman
а затирая начало можем потерять эту разметку (останется хвост недотертого старого сообщения)
А зачем перезаписывать? И почему не n файлов, содержащих пачку записей?
Roman
по меньшей мере понятно как получить консистентность записи
Ну o_direct - это плохой совет и не гарантирует ничего, кроме того что данные не попадут в page cache
Vitaliy
o_direct даёт контроль того что на диске
Roman
есть еще путь - симметричные заголовок и подвал сообщения. тогда все можно раскрутить с конца файла, и обнаружить, где они разойдутся (по длине) при таком же разборе с начала
Roman
o_direct даёт контроль того что на диске
Нет :) ты подразумеваешь o_sync или d_sync ;)
Roman
но тут скорее больше проблема в переэксплуатации тех же секторов. лучше просто новые файлы нарезать, а старые удалять, как в кафке
Roman
Вот там да, данные лягут на пластины. Но это будет чертовски медленно
Daniel
и все равно не атомарно
Pawel
12 factors, не?
у меня есть кейсы, когда под виндой надо писать в системный журнал событий или мою бд sqlite, для бэка конечно только stdout
Roman
А зачем перезаписывать? И почему не n файлов, содержащих пачку записей?
это уже есть. я думал придумать извращение без фрагментации.
Daniel
ну - запись на диск протяженный во времени процесс, а журнал тут не используется
Roman
это уже есть. я думал придумать извращение без фрагментации.
Ну влепи posix_fallocate на предполагаемый максимальный размер чанка
Roman
ну - запись на диск протяженный во времени процесс, а журнал тут не используется
Нет же, при наличии флажков или явного fsync/fdatasync и обработки ошибок их
Daniel
мы про ситуацию, когда писать начали, и упали. некому ошибки обработать, а запись битая
Roman
хороший вариант, спасибо, попробую
Если только linux, то есть fallocate и очень крутой набор фич
Roman
нет, еще и винда
Roman
там тоже что то такое было, забыл уже, поковыряю
Roman
нет, еще и винда
А, тогда соболезнования
🎉
Я три ночи ковырялся.
А, пардон, не так понял, с исходников ещё не делал.
🎉
Получилось?
Выше. Из исходников нет пока, скоро запробую, не так понял.
Roman
а по питанию?
А, да. Но тут хватит счётчика сообщений в начале чанка
Sergei
Выше. Из исходников нет пока, скоро запробую, не так понял.
Если получится, поделились пжлст)) я думаю в текущем проекте для генерации придется много чего переписать, а не хотелось бы😒
Roman
Хотя вариант с crc32 лучше
Roman
А, да. Но тут хватит счётчика сообщений в начале чанка
его нельзя, будет рандом запись (либо планировщик ос поставит в более позднюю запись)
Pawel
А кто какими лог-коллекторами/марщрутизаторами журнлов пользуется? как на счёт fluentd ?
Roman
его нельзя, будет рандом запись (либо планировщик ос поставит в более позднюю запись)
Все упирается в возможность потерять последние n записей
Roman
Хотя вариант с crc32 лучше
я мерял crc32 это провал. самое быстрое siphash на асме, но тоже сильно падает скорость
Tishka17
Правда мало что умеет
Pawel
Daniel
а потом что с ним делать?
🎉
Сгенерировать новый проект.
Daniel
нагенерить кода? так под него проект править
Daniel
я бы так и сделал, но я вообще фашист
Tishka17
альтернативы?
А смотря что надо
🎉
@onokonem а вы не писали кастомные консюмеры, продьюсеры? Что-то дока не полная, а информации вообще в гугле нет.
Pawel
А смотря что надо
в основном фильтры по ключу/значению/левелю + чтобы дерево логов строил по датам. офигенно было бы иерархический лог иметь, который я сейчас своими силами велосипедирую в бд sql
Tishka17
Начни с elk стэка
Pawel
Начни с elk стэка
ок, спсб. Я в этом слаб, но вот таки стала проблема в полный рост. Может и не функция. Хочется просто какую-то внятную систему журналирования
Tishka17
Начни с logstash/fluentd/fluentbit + elasticsearch + kibana
Eugene
Добрый вечер, господа. Я тут недавно в язык погрузился. Подскажите как правильно горутины использовать. Взял либу с ботом и пытаюсь канал слушать в горутине, но не получается https://github.com/nlopes/slack Вот по этому примеру https://github.com/nlopes/slack/blob/master/examples/websocket/websocket.go
Eugene
пытаюсь в горутине запустить for msg := range rtm.IncomingEvents. И вроде как запускается но ничего больше не происходит. Хочу чтобы слушал бот не блокирующим процессом
Eugene
@Romshark https://goplay.space/#FIVeZRnu6DL
Roman
@Romshark https://goplay.space/#FIVeZRnu6DL
пожалуйста не используйте глобальные переменные, желательно никогда 🙂
JBáruch
Чатик, смотрите что мы замутили: https://jfrog.com/gocenter/
Vitaliy
Roman
а можно ли подрезать файл спереди, а не сзади (truncate)?
Daniel
нельзя же
Daniel
как?
Eugene
@Romshark это все временно
Roman
Чатик, смотрите что мы замутили: https://jfrog.com/gocenter/
глобальный репозирорий аля npm? зачем?! я скорее за decentralized git-based dependencies
Daniel
чтобы было "как в нормальных языках". модули нам уже втулили...
Daniel
Открыть поставить seek
не, он место освободить хочет :)
Vitaliy
Чатик, смотрите что мы замутили: https://jfrog.com/gocenter/
+ мелочь, при клике на заполнение email подгружается новый шрифт (вводил кириллицу). В результате буквы не отображаются первые секунды.
Roman
чтобы было "как в нормальных языках". модули нам уже втулили...
модули то это прекрасно, но глобальный репозирорий это no-go.
Антон
что? из мастера?
Угу, из master ветки
Roman
Daniel
антон, но ведь уже давно это не так