Евгений
Евгений
George
Вообще реально задача для м
Собеса
George
В девопс джобс
Vladimir
Это ж 6 сравнений
Ну для рассчета суммы тебе надо прочитать столько же но вместо сравнения делать математику над каждым
Vladimir
А так можно прочитать 4 блока, сравнить, выкинуть все файлы что не имеют совпадений, продолжить читать оставшиеся по блокам
Vladimir
Если ты предполагаешь что у тебя среди равных по размеру файлов маловероятно будут совпадения, то лучше сразу сравнивать
Vladimir
В целом если у него нет чексумм и ему надо из посчитать все равно, тогда да, возможно можно сначала по чексумма сравнить
Евгений
Vladimir
Vladimir
Vladimir
Open, seek, read, сравнение
George
George
Mmap :-) и по офсету в памяти
Vladimir
George
Сик, мать его, диск дрюкает только в путь. А потом мы удивляемся низкой эффективности. Слишком много, простите, атстракций
George
Vladimir
George
Это плохой язык и неправильные пчелы
Vladimir
Vladimir
Есть конечно внешние библиотеки, его умеющие, но их не советуют брать :)
Pavel
Rust!
Евгений
bama^boy
bama^boy
И фигачить код на C
Nick
Быстрее посчитать md5 для 20 гигов файлов, чем читать всё это
George
Лол
Alexander
Alexander
Который вот ентот вот https://github.com/jbruchon/jdupes
George
Я просто fdupes использовал
George
Он есть в штатном комплекте любой убунты, только доустановить надо
George
О, как
Sergey
Я как-то в далёком сибирском аутсорсе решал подобную задачу заказчику для бэкапа корпоративной почты.
Evgeniy
Какие книги по девопсу посоветуете
Evgeniy
This bot is unavailable due to copyright infringement.
Антон [R13 🍆 Ivelok]
O_o
George
🤦♂
bama^boy
帖木儿
G72K
про SRE обсуждают тут? Кто-нибудь видел/знает пример SLI для штук работающих на очередях. Прочитали два евента, положили три в другую очередь.
G72K
Vladimir
как один из вариантов, почему бы нет?
Vladimir
если у тебя есть идея сколько должно быть на выходе
G72K
Ну к "сколько" надо б ещё и "вовремя" , а с этим ещё сложнее
Vladimir
вопрос в общем в том, что за сервис и что вам важно от него...
Евгений
Nick
Nick
Для некоторых приложений - сравнивать timestamp на входящем и исходящем сообщении - если мы бьёмся за скорость обработки.
Nick
Врианта one-size-fits-all не могу придумать - всё зависит от brd
Nick
G72K
Ну я у них спрашиваю, что расстроит ваших "клиентов" :) часто примерно понимают , но сформулировать не могут. Рассуждения вообще про качество данных (свежесть ,корректность , непротиворечивость), такое вообще хз как мерить :) вот и спросил, может кто обвешивал SLI всякие ETL и прочую асинхронщину, может по граблям прошлись уже
Евгений
G72K
Напрашивается дистрибьютед трейсинг для начала
по трейсинг даёт понять что внутри трейса происходило, оно не очень для собирания статистики по трейсам. Да и как реализовывать непонятно, оно опять же на запрос-ответ рассчитано . Скажем пришло два сообщение с traceId: X и Y. Одно получили, отложили до лучших времён, получили второе, смержили данные положили в другую исходящую очередь . Какой traceId использовать в исходящем сообщении?
Евгений
Ну я у них спрашиваю, что расстроит ваших "клиентов" :) часто примерно понимают , но сформулировать не могут. Рассуждения вообще про качество данных (свежесть ,корректность , непротиворечивость), такое вообще хз как мерить :) вот и спросил, может кто обвешивал SLI всякие ETL и прочую асинхронщину, может по граблям прошлись уже
SLI на консистентность данных это интересно, никогда не слышал, чтобы кто-то такое мерял. Но умозрительно кажется, что это можно посчитать с помощью достаточно хорошо обогащённого дистрибьютед трейсинга
Рашит
У Gwen Shapira есть выступление про то, что и как мониторить в Кафке, можно оттуда SLI посмотреть
G72K
G72K
Поищу, спасибо
G72K
Рашит
Да, он
G72K
Ну и второй вопрос , о чем молчат евангелисты на конференциях, как данные для новых окружений генерировать. Особенно когда они должны быть согласованы между сервисами? Есть ли (полу)готовые фреймворки . Хочется описать "мир", затем замапить этот мир в разные датасеты для разных систем.
G72K
Evgeniy
Да у меня не хватает английского словарного запаса, что бы читать книги на английском.
Евгений
G72K