Vladimir
Мд5сумма коллеге все равно нужна
Ну так да, в целом можно и зная что за файлы можно ещё делать предположения
George
Вообще реально задача для м Собеса
George
В девопс джобс
Vladimir
Это ж 6 сравнений
Ну для рассчета суммы тебе надо прочитать столько же но вместо сравнения делать математику над каждым
Vladimir
А так можно прочитать 4 блока, сравнить, выкинуть все файлы что не имеют совпадений, продолжить читать оставшиеся по блокам
Vladimir
Если ты предполагаешь что у тебя среди равных по размеру файлов маловероятно будут совпадения, то лучше сразу сравнивать
Евгений
Ну для рассчета суммы тебе надо прочитать столько же но вместо сравнения делать математику над каждым
Ну там не такая уж жуткая математика. Но вообще можно начать попарные сравнения и одновременно, если файлов в группе больше 3, считать чексуммы
Vladimir
В целом если у него нет чексумм и ему надо из посчитать все равно, тогда да, возможно можно сначала по чексумма сравнить
Vladimir
Ну, можно предполагать, что у них начало одинаковое
Поэтому имеет смысл сразу посмотреть в середину
Vladimir
Open, seek, read, сравнение
Евгений
Поэтому имеет смысл сразу посмотреть в середину
Ну, это уже интересный вопрос. Но чтобы середины были сильно вариативными нужно чтобы файлы пожатыми были
Vladimir
Ну, это уже интересный вопрос. Но чтобы середины были сильно вариативными нужно чтобы файлы пожатыми были
Ну зависит от файла в общем. Зная что за файлы можно делать какие то предположения и тем самым получить алгоритм который на них в среднем лучше, ценой краевых случаев
George
Mmap :-) и по офсету в памяти
Vladimir
Не надо
Можно и так
George
Сик, мать его, диск дрюкает только в путь. А потом мы удивляемся низкой эффективности. Слишком много, простите, атстракций
George
Это плохой язык и неправильные пчелы
Vladimir
Есть конечно внешние библиотеки, его умеющие, но их не советуют брать :)
Pavel
Rust!
Евгений
Есть конечно внешние библиотеки, его умеющие, но их не советуют брать :)
Ну, это если у тебя горутины горутинят, а так можно
Vladimir
Ну, это если у тебя горутины горутинят, а так можно
Ну так горутины в го всегда горутинят... Их же из коробки штуки 3-4 даже на hello world
bama^boy
И фигачить код на C
Vladimir
Unsafe же можно 😁
Можно, но зачем?
bama^boy
Можно, но зачем?
Для эффективного управления памятью без абстракций
Nick
Быстрее посчитать md5 для 20 гигов файлов, чем читать всё это
George
Лол
Alexander
Который вот ентот вот https://github.com/jbruchon/jdupes
George
Я просто fdupes использовал
George
Он есть в штатном комплекте любой убунты, только доустановить надо
Alexander
Я просто fdupes использовал
Fdupes патченный нужен. В центософедорах, например, он стоковый и сам хардлинкать не умеет
George
О, как
Sergey
Я как-то в далёком сибирском аутсорсе решал подобную задачу заказчику для бэкапа корпоративной почты.
Evgeniy
Какие книги по девопсу посоветуете
Evgeniy
This bot is unavailable due to copyright infringement.
Антон [R13 🍆 Ivelok]
O_o
Евгений
Какие книги по девопсу посоветуете
Линукс кернел девелопмент Роберта Лава
Aleksey
Fdupes патченный нужен. В центософедорах, например, он стоковый и сам хардлинкать не умеет
Бекпатченный. Он раньше умел но там нашли ошибку которая всё ломает в корнеркейсе и дистростроители выпилили функционал
George
🤦‍♂
G72K
про SRE обсуждают тут? Кто-нибудь видел/знает пример SLI для штук работающих на очередях. Прочитали два евента, положили три в другую очередь.
Vladimir
про SRE обсуждают тут? Кто-нибудь видел/знает пример SLI для штук работающих на очередях. Прочитали два евента, положили три в другую очередь.
обсуждают, обсуждают. А если ты знаешь что на 2 входных эвента должно приходится три выходных, то ты же можешь рассчитать сколько ты должен выплюнуть во вне и смотреть разницу прогноза с реальностью?
Vladimir
как один из вариантов, почему бы нет?
Vladimir
если у тебя есть идея сколько должно быть на выходе
G72K
Ну к "сколько" надо б ещё и "вовремя" , а с этим ещё сложнее
Vladimir
вопрос в общем в том, что за сервис и что вам важно от него...
Евгений
Nick
про SRE обсуждают тут? Кто-нибудь видел/знает пример SLI для штук работающих на очередях. Прочитали два евента, положили три в другую очередь.
Я бы скорее использовал количество подвисших сообщений возрастом старше N во входной очереди. Это показывает - успеваем ли мы обработать.
Nick
Для некоторых приложений - сравнивать timestamp на входящем и исходящем сообщении - если мы бьёмся за скорость обработки.
Евгений
Ну к "сколько" надо б ещё и "вовремя" , а с этим ещё сложнее
Летенси проще мерять чем правильность количества ответов. Просто меряешь интервал между началом и окончанием обработчика
Nick
Врианта one-size-fits-all не могу придумать - всё зависит от brd
G72K
Тебе интересно что мерять всё-таки или как?
Что. Но из ответа на "что?" тоже не всегда понятно как сделать :)
G72K
вопрос в общем в том, что за сервис и что вам важно от него...
Тут у них пятнадцать сервисов и все друг с другом через Кафку, апи вызовов вообще нет :) я такого ещё не видел.
Евгений
Что. Но из ответа на "что?" тоже не всегда понятно как сделать :)
Ну, на самом деле, ответить что мерять невозможно. У разных приложений разная норма (например для бекенда и аналитического приложения совсем разные метрики важны)
G72K
Ну я у них спрашиваю, что расстроит ваших "клиентов" :) часто примерно понимают , но сформулировать не могут. Рассуждения вообще про качество данных (свежесть ,корректность , непротиворечивость), такое вообще хз как мерить :) вот и спросил, может кто обвешивал SLI всякие ETL и прочую асинхронщину, может по граблям прошлись уже
G72K
Напрашивается дистрибьютед трейсинг для начала
по трейсинг даёт понять что внутри трейса происходило, оно не очень для собирания статистики по трейсам. Да и как реализовывать непонятно, оно опять же на запрос-ответ рассчитано . Скажем пришло два сообщение с traceId: X и Y. Одно получили, отложили до лучших времён, получили второе, смержили данные положили в другую исходящую очередь . Какой traceId использовать в исходящем сообщении?
Рашит
У Gwen Shapira есть выступление про то, что и как мониторить в Кафке, можно оттуда SLI посмотреть
G72K
Поищу, спасибо
Рашит
Да, он
Рашит
SLI самого кафки или клиентов?
Там смешанно на самом деле, но больше про качество доставки сообщений, задержка, вот это все
G72K
Ну и второй вопрос , о чем молчат евангелисты на конференциях, как данные для новых окружений генерировать. Особенно когда они должны быть согласованы между сервисами? Есть ли (полу)готовые фреймворки . Хочется описать "мир", затем замапить этот мир в разные датасеты для разных систем.
Evgeniy
Да у меня не хватает английского словарного запаса, что бы читать книги на английском.
G72K
Что ты имеешь в виду? Как для тестового/dev окружения тестовые данные создавать?
Ага, глобально, чтобы разные сервисы не ругались друг на друга при этом :)