Cheese
@swamp_agr, после твоих ответов не ушло впечатление, что ETL — пустой баззворд
Anonymous
@goreich будет жить. Поприветствуем!
Andrey
в принципе всё так и есть.. но всё ж в деталях кроется.. представь систему, в которую пишутся данные из N систем + юзеры руками ещё вколачивают как ошпаренные
Andrey
да, это всё разные процессы по разным расписаниям
Alexander
ETL - общее описание класса задач по получению модификации и загрузке данных
Alexander
т.е. это не описывает конкретные технологии, и в общем-то buzzword и есть, но не бесполезный
Andrey
и всё надо согласовать, кто кого может переписывать, обновлять, или же удалять и пересоздавать.. как матчить эти данные друг с другом.. чтобы ни данные, ни юзеры, никто не страдал.. (хотя по-любому будут страдать все)
Andrey
там ещё валидация данных — это отдельный класс процессов.. так, с результатами валидаций могут выносить решения о внесении коррективов в исходных системах, в целевых системах.. что-то может исправлено автоматически, что-то — не может.. какие-то данные будут зависеть от тех, что не прошли валидацию.. в хороших домах принято переигрывать ситуацию, сформировав отчеты, как будто бы та мажорная валидация не завалилась, чтобы понять, что требует исправления, а что нет
Andrey
да, сами валидации могут иметь разные приоритеты относительно друг друга.. там внутри целый мир, но снаружи это всё — ETL
Alexander
а ещё кто-то может называть etl просто condit-pipeline
Alexander
ну machines/haxl pipeline
Alexander
поскольку там много входов будет
Andrey
да
Cheese
звучит как описание архитектуры на языке менеджмента, но не как постановка задачи из категории "как это решается на Хаскеле?"
Alexander
да
Alexander
если вопрос просто про pipeline преобразования, то pipes/conduits это ответ
Alexander
точнее streaming/foldl
Misha
давайте сузим задачу: есть некоторые источники данных, в которых эти самые данные не описаны четко (например поле name у пользователя может быть, а может и нет). Надо сходить за этими данными, собрать из них один JSON и, для начала, просто записать на диск.
Alexander
conduit/pipes
Misha
так же, если это важно, получаемы json из внешних источников не плоский
Cheese
впрочем, возможно, Haxl проще, чем мне кажется
Andrei
Слайд про patterns и functions.jpg
Alexander
о @int_index у нас теперь главный по парсеру в ghc
Vladislav
На самом деле SPJ, он мне уже несколько месяцев не дает вмерджить изменения, которые я хочу.
Vladislav
Уже какой-то там раз переделываю с нуля с Новым Дизайном
Vladislav
Но текущая итерация уж такая улетная, что я нашел баг в happy
Vladislav
Нормальный такой, который позволяет в любой грамматике написать unsafeCoerce
Vladislav
a :: { Bool } : n { $1 } n :: { a } : { (0::Int) }
Vladislav
Вот эта штука скастует 0 :: Int в Bool и получится False
A64m
а какие изменения не пропускает?
Vladislav
https://ghc.haskell.org/trac/ghc/wiki/Design/ExpPatFrame
Vladislav
Там уже outdated design по сути
Vladislav
Ему очень не понравился большой тип ExpPatFrame
Vladislav
Поэтому я пытаюсь заменить initial encoding на final encoding, чтобы без промежуточного типа
Vladislav
Там получается что-то вроде P (P a, P b), где P это монада парсинга
A64m
а, это та TTG история, вспомнил теперь
Vladislav
Парсим неоднозначное, на выход получаем два новых парсера, и когда можем разрешить ambiguity, выбираем один из этих двух
Vladislav
Я еще это с SPJ не обсуждал, но если он и эту мысль отвергнет, я обижусь и пойду делать свой компилятор
Anonymous
@serge_42 будет жить. Поприветствуем!
Cheese
как попроще сделать publish-subscribe? общий канал, источник нечего не знает о подписчиках, и наоборот. если подписчиков много, каждый получает копию сообщения, если подписчиков нет, сообщение выкидывается
Cheese
всё в тредах и в IO
Alexander
newBroadcastTChan
Alexander
dupTChan
Alexander
@cblp_su ^
Cheese
newBroadcastTChan
спасибо
Alexander
в документации там написано в чем фишка и почему так хорошо
Cheese
да, вижу, спасибо
Roman
есть ли какое-нибудь извращение, которое позволит мне определить тип, который не унифицируется сам с собой? То есть, чтобы у меня было x1 :: X и x2 :: X, а [x1, x2] бросало ошибку
Roman
Или можно как-нибудь Double на уровень типов поднять? 0/0 сам себе не равен
Anonymous
@ProtezMozga будет жить. Поприветствуем!
Алексей
Есть курсы по хаскелю на инглише?
Alexander
в каком формате интересуют?
Alexander
видео был на edx
Alexander
текст + задачи - много разных
Алексей
Текст+задачи, чтобы после второго курса степика двигаться дальше
Алексей
Можно с видео
Алексей
На курсере нет, на edx, только один -базовый
Cheese
Или можно как-нибудь Double на уровень типов поднять? 0/0 сам себе не равен
это специальным образом реализованный (==), унификация иначе работает
Alexander
через rankNtypes можно попробовать
Alexander
надо поискать у меня что-то было такое в черновиках
Alexander
но типы будут разрые
Alexander
просто можно написать функцию, которая со всем семейством работает
Cheese
через rankNtypes можно попробовать
у меня с наскоку не получилось. экзистенциальный тип (который вводится квантором) внутри скоупа унифицируется с собой, а наружу не вытаскивается
Alexander
но массив уже не соберёшь, и.к. они разные
Alexander
там data X = X (forall s. Something s)
Alexander
внутри case по X будет доступно его тело, а два разные X дадут внутренности разных типов
Alexander
если функция принимает Something s то подставить в нее можно будет любой
Roman
Да, я хочу это использовать в сочетании с экзистенциальными типами. Но мне именно важно, чтобы я сделал что-нибудь в духе case xs of [x1, x2] -> [x1, x2] и это выдало ошибку. То есть разобрать можно на части, а собрать обратно нельзя (я понимаю, что это дичь какая-то)
Roman
по сути мне нужны такие значения, с которыми ничего нельзя сделать кроме как разбирать их дальше. Потому что там все инварианты летят к хренам, если начать такие значения комбинировать
Roman
а не экспортировать конструкторы я не могу
Cheese
линейными типами пахнет
Cheese
а какие инварианты летят?
Cheese
и почему нельзя не экспортировать конструкторы?
Зигохистоморфный
а что если написать паттерн синонимы и их экспортировать? а всю хитрую обработку скрыть в них таким образом и PM работать будет
Alexander
у тебя одно и тоже выражение и well typed и нет
Alexander
но на линейные типы похоже