хотя может это связано с тем что запилили плагин к жупитеру свой чтоб можн было обрабатывать данные и на карте прям в ноутбуке показывать

https://m.habrahabr.ru/company/devimteam/blog/348092/

Оцените чтоль статью )

Принял участие?

Нет

Но чуваки наши писали

Которые не знают зеплина и прочего

ну вон Давыденко целый кэн

а ты ему со своим зепелином

но чет не понял смысла, типа предсказывать решение андеррайтера? А почему просто не скорить?

выполнить проект в сжатые сроки и принять во внимание некоторые особенности бизнес-целей

но ваще прикольно что auc здоровенный

но чет не понял смысла, типа предсказывать решение андеррайтера? А почему просто не скорить?

Нет, по факту скорят

Поставьте автору в карму плюсиком чтоль

Она грустит)

было бы чем

меняю плюсик на инвайт

У меня мало кармы

нету ручек - нет конфеты

Поставьте автору в карму плюсиком чтоль

ты сегодня будеш?

Будешь

И автор статьи будет ))

Авторша)

еееезззз будеш

в статье слишкоммногабукаф, а смысл при просмотре по диагонали ускользнул.

Смысла там нет )

Смысла там нет )

зачем же ты просишь лайкать? личность автора роляет?

угу)

https://m.habrahabr.ru/company/devimteam/blog/348092/

По опыту такой roc auc для мфо - это полная херня. Не может такого быть. Даже в чистом банковском скоринге он недостижим

По опыту такой roc auc для мфо - это полная херня. Не может такого быть. Даже в чистом банковском скоринге он недостижим

Напиши коммент)

Привет! Народ, подскажите плиз, кто работал с Flink-ом - как соединить два потока последовательно? https://stackoverflow.com/questions/48692658/how-to-concatenate-two-streams-in-apache-flink

перетащу детали и сюда

Если кратко, то нужно сигнализировать об окончании потока для закрытия накопленного состояния (сегментация на from_time, to_time результатов поиска шаблонов в данных timeseries)

Исходный поток строится из Sql запроса, то есть на практике ограничен

Возможно стоит DataSet использовать для этого, но я там тоже не увидел подобной возможности

Спасибо)

а что значит from_time to_time? это ограничение по времени в данных или временное окно?

или кейс такой, что sql периодически выполняется и сливается в стрим, где обрабатывается и результат сливается дальше?

сделаю гипотезу, что 2ой стрим не нужен и можно разрулить, например, через https://ci.apache.org/projects/flink/flink-docs-release-1.4/dev/stream/operators/windows.html#global-windows

а что значит from_time to_time? это ограничение по времени в данных или временное окно?

Это временное окно. То есть шаблоны обрабатывают входной поток и выплёвывают новую последовательность результатов. Типа Failure 1, Success 2, Success 3, Success 4, нужно преобразовать в Segment(from 2, to 4).

Это временное окно. То есть шаблоны обрабатывают входной поток и выплёвывают новую последовательность результатов. Типа Failure 1, Success 2, Success 3, Success 4, нужно преобразовать в Segment(from 2, to 4).

это как раз во временном окне происходит, правильно? а дальше это нужно засейвить?

сделаю гипотезу, что 2ой стрим не нужен и можно разрулить, например, через https://ci.apache.org/projects/flink/flink-docs-release-1.4/dev/stream/operators/windows.html#global-windows

Хмм.. Интересно, но не совсем понимаю как его применить для этой задачи

Хмм.. Интересно, но не совсем понимаю как его применить для этой задачи

это если б речь не про временное окно была, тогда да а так нужно на другие смотреть

это как раз во временном окне происходит, правильно? а дальше это нужно засейвить?

Не совсем, это происходит после партиционирования (keyBy), с состоянием. То есть я сохраняю первый встреченный Success и накапливаю до Failure или Heartbeat (в случае разрыва в данных), затем закрываю предыдущим успехом. Нужно этот Heartbeat встроить и в конец потока, чтобы последняя цепочка Success-ов не пропадала

Или может я упускаю что то очевидное.. Не соображу никак)

Если кратко, то нужно сигнализировать об окончании потока для закрытия накопленного состояния (сегментация на from_time, to_time результатов поиска шаблонов в данных timeseries)

Если я правильно понял суть задачи, возможно поможет механизм триггеров, по которому можно определить завершение окна https://ci.apache.org/projects/flink/flink-docs-release-1.2/dev/windows.html#triggers

на эту тему очень много написано здесь https://www.oreilly.com/ideas/the-world-beyond-batch-streaming-102

Если я правильно понял суть задачи, возможно поможет механизм триггеров, по которому можно определить завершение окна https://ci.apache.org/projects/flink/flink-docs-release-1.2/dev/windows.html#triggers

Спасибо! А как с помощью триггеров определить завершение окна? Через контекст?

#job #Moscow Всем привет! В нашу команду http://cleverdata.ru/about/ ищем Python-разработчика. Кто хочет интересные задачи и новый вызов - welcome. http://bit.ly/2Ebu0BP - подробности здесь Можно откликаться на сайте или писать в личные сообщения

Чувак из Флинка говорит, что, к сожалению, склеить потоки пока не возможно. https://stackoverflow.com/questions/48692658/how-to-concatenate-two-streams-in-apache-flink

Приветствую. Можете подсказать, как определить корректные значения для параметра hbase.regionserver.handler.count?

Чувак из Флинка говорит, что, к сожалению, склеить потоки пока не возможно. https://stackoverflow.com/questions/48692658/how-to-concatenate-two-streams-in-apache-flink

То, что он предлагает, можно через RichCoProcessFunction сделать, она позволяет читать из 2х потоков одновременно одной функцией, но конец потока в любом случае придётся вручную определять, т.к. Flink считает, что все потоки неограниченные и не предоставляет никаких механизмов определения завершения потока

имхо, такой сценарий априори с дефектом или интсрумент не потоковый нужен, или задачу надо решать иначе я потому и допрашивал про детали, по-прежнему склоняюсь к мнению, что 2ой поток не нужен и нужны и триггеры

Да, согласен, я сейчас копаю в сторону окон, кажется на SessionWIndow хорошо ложится. Вопрос на SO в процессе поиска решения возник, уже не актуален для задачи

имхо, такой сценарий априори с дефектом или интсрумент не потоковый нужен, или задачу надо решать иначе я потому и допрашивал про детали, по-прежнему склоняюсь к мнению, что 2ой поток не нужен и нужны и триггеры

На SessionWIndow так же не работает как и простой flatMap - теряет последнюю цепочку Success-ов. То есть на Success 1, Success 2, Success 100, Success 101, END возвращает только Segment(1, 2). Но и триггеры здесь тоже не сработают, не определишь же окончание окна, там нет никакого терминального состояния за которое можно уцепиться, или я ошибаюсь?

Сформулировал на SO https://stackoverflow.com/questions/48709208/how-to-accumulate-state-until-the-end-in-apache-flink

Кстати, раз мы тут говорили о зеплине, а кто-нибудь пробовал даталор?

Линк в студию

datalore.io

джетбрейнз, хм

сам то пробовал?

беглый взгляд говорит, что там только облако с питоном

Сам тыкал ровно 5 минут

У кого было , что where в хайве переставало работать

А что пишет ?

Перестаёт фильтровать по условию Типа where c.seg = 5 and .... сложное условие, в результаты попадают кортежи с c.seq != 5

А что пишет ?

походу сам дурак и нарвался на что то вроде false and false or true === true

https://github.com/snowplow/snowplow

@krivdaallstars слушай, не знаешь у ес нету индекса хорошего для file path?

@krivdaallstars слушай, не знаешь у ес нету индекса хорошего для file path?

Ес это надеюсь Евросоюз ?

Если про еластик, то не скажу

@pomadchin обманул меня

короче люсен бейзед, и сортируй лексиграфически файлы, так все будет быстро и красиво

https://www.elastic.co/guide/en/elasticsearch/guide/current/indexing-performance.html#_other

(это для контента в группе)

https://habrahabr.ru/company/JetBrains/blog/348696/

в общем наверное для меня статью писали)

https://habrahabr.ru/company/JetBrains/blog/348696/

какой-то бесполезный продукт, словно отбор фич делали по фотографиям сатанистов

Ой,я похоже накинул