Pavel
Лан, в общем микро оптимизации без графиков даж обсуждать как-то непродуктивно.
Roman
func(){s:=struct{a,b int}{}; func(){s.a = 1; s.b = 2; print("profit")}() }() - это вместо вызова методов
Vitaliy
Ну понятно что там за хайлоад без графиков.
в настоящем хайлоаде графики в заббиксе!
🏁Александр
у нас jaeger+прометус
🏁Александр
для графиков в графану все пихается потом
Evgeniy
return [0]os.FileInfo Хочу пустой массив вернуть. Что ему не нравиться?)
Evgeniy
is not expression Говорит
Subbotin
Return []os.FileInfo{}
Evgeniy
Return []os.FileInfo{}
спасибо, сработало. А чем этот вариант отличается от make([]os.fileinfo, 0)?
Roman
в настоящем хайлоаде графики в заббиксе!
и апдейт данных раз в минуту
Vitaliy
и апдейт данных раз в минуту
обижаешь! Через неделю остаются только данные раз в час
Vitaliy
у нас jaeger+прометус
фальшивый у вас хайлоад. Поди ещё реддит читаете вместо православного хабра?
Roman
чот почитал код minio и расхотелось его использовать
Roman
?
json повсюду, да и совершенно непонятно как оно лечится
Vitaliy
в чём проблема с json?
Roman
в чём проблема с json?
довольно тяжелый формат. особенно, когда у тебя много данных.
Roman
в чём проблема с json?
для примера: положи sha256 digest в json )
Roman
и похоже, он каждый файл кладёт "как есть" в фс
Vitaliy
ну и ладно, в чём проблема?
Roman
А в чём проблема?
положить бинарные данные в json? )
Roman
ну и ладно, в чём проблема?
в том что оно хранит на диске "как есть"?
Roman
sha256 - это 32 байта, но среди них запросто может быть 0x00, например.
Мерль
Subbotin
в том что оно хранит на диске "как есть"?
Хранит файлы в специально разработаной для хранения файлов базе данных? Больные ублюдки!
Roman
Заверни в base64
и получи 64 байта вместо 32
Roman
Хранит файлы в специально разработаной для хранения файлов базе данных? Больные ублюдки!
положи 20-30 млн файлов и попробуй сделать их копию в разумное время
Мерль
🏳️ Phil
в чём проблема с json?
А он я так понимаю там колбасой лежит. Да и формат тяжеловатый
Subbotin
64 байта будет в hex
Roman
Эээ. Нет. 40
sha256 имеет digest в 32 байта. в hex это будет 64. 40 - это для sha1
Vitaliy
А он я так понимаю там колбасой лежит. Да и формат тяжеловатый
ну и ладно. Долгое время так же был устроен лог docker'а
Subbotin
🏳️ Phil
ну и ладно. Долгое время так же был устроен лог docker'а
Ну я думаю, это не очень хорошо сказхывается на производительности
Evgeniy
для этого вроде bson придумали, чтобы проблем с base64 небыло)
Мерль
положи 20-30 млн файлов и попробуй сделать их копию в разумное время
В minio не надо класть миллионы файлов Оно не для этого
Vitaliy
Ну я думаю, это не очень хорошо сказхывается на производительности
единственное что там было плохо для производительности — авторы не умели стриминг вывода из лога и аллоцировали гигабайты памяти на запрос логов
Roman
мда, это грустно. xfs не поможет?
ни одна из фс не поможет.
Мерль
А для чего он собственно?
1. Мокать амазоновский объектный стор 2. Для небольших файлопомоек
Subbotin
положи 20-30 млн файлов и попробуй сделать их копию в разумное время
У меня лежало 13 миллионов (из них 5 в одной директории) и раз в 5 минут по ним бегал рсинк. Работало как часы на xfs
Roman
Ну так вам предложили base64, а не hex
угу. но все равно это сильно поможет
🏳️ Phil
1. Мокать амазоновский объектный стор 2. Для небольших файлопомоек
1. Что прости делать? 2. Чем для этого плох не объектный стор, а тупо FS?
Subbotin
Ну за 5 минут очевидно успевал
🏳️ Phil
Self-hosted s3 😁
А зачем?
Bogdan (SirEdvin)
Потому что s3 бывает удобно?
Roman
У меня лежало 13 миллионов (из них 5 в одной директории) и раз в 5 минут по ним бегал рсинк. Работало как часы на xfs
afaik, у нас сейчас в объектном хранилище где-то около 1 млрд объектов. На фс это будет 1 объект = 1 файл
Subbotin
Pawel
да
Твои реплики про моки напоминают истеричные проповеди Боба Мартина
Мерль
1. Что прости делать? 2. Чем для этого плох не объектный стор, а тупо FS?
1. Amazon S3 подделывать 2. Там за тебя написана мишура с обёртками, бакетами, авторизацией и прочей фигней Нужно какое-то простое сетевое хранилище – просто берешь его и втыкаешь рядом
Roman
Твои реплики про моки напоминают истеричные проповеди Боба Мартина
пишите тесты как хотите, только потом не жалуйтесь на их низкое качество 🙂
Roman
А с чего бы инод кэшу быть пустым?
Потому что есть ещё page cache. Не, можно vfs.cache_pressure = 1, но будет весело
Subbotin
Минио очевидно не для терабайтов килобайтных файлов
Мерль
Т.е. сейчас можно всех порвать (чисто теоретически) реализовав 9p?
Можно, если хороший драйвер сделаешь под несколько языков
Vitaliy
Твои реплики про моки напоминают истеричные проповеди Боба Мартина
это обвинение в теоретизировании вместо практики?
🏳️ Phil
Никакой магии, тупо управлять блобами через http
Ты не поверишь, но ты только что разрушил мой мир. Я понял
🏳️ Phil
???
Ты разумно объяснил нахера
🎉
Люди, а миграции откуда накатываете?
🎉
Понимаю что от кейса, но самый распространнёный?
Илья
google golang migrate
Илья
правда на первом месте новый coding-standarts самопровозглашенный
Илья
mattes/migrate работал у меня в проде, не самый топ, но жить было можно
Илья
помоему, мы переезжали на https://github.com/pressly/goose
Илья
приятнее мерджить несколько веток, тк в таблице не только крайняя версия