Проклятие

плохая идея)) 20 мб это уже долго кафке

да ты чоу)

Можно exasol поюзать

да ты чоу)

Хотел сказать 20 гигабайт

не нужно ничего юзать, пока человек не поймет, что ему нужно

пета байт

и какие требования он выдвигает)

пета байт

у меня кафка тут не 1 мб падала

у меня кафка тут не 1 мб падала

Ловил ?

еле поймал)

оказалось прост потекла

@pomadchin я тебе не показывал? я тут стековерфлоу в гошке видел)

ага

Показывал

Ппц

Можно exasol поюзать

у нас на тачке конечно дофига ОЗУ, но эгзасол имхо перебор да и коммерческий он я ставил его на бывшей работе, мне не понравилось

Так какая цель в итоге?

ускорить скрипт на R

он в озу медленно работает

что именно он делает - я не знаю

девелопер попросил хадуп

Лол

@pomadchin предложить ему spark r?)

я думаю отказаться от р

Ну спарк наверное нужен действительно

Может это имеет ввиду р девелопер

девелопер попросил хадуп

предложите им кликхаус

Предложить им надо пройти куда подальше

Если хочется "опробовать технологию" натыкай клаудера менеджер на виртуалках . Там далее-далее, виндастайл, ничего знать не надо. У меня тестинг так работает

В целом с таким количеством данных можно все там и оставить))

можно просто скачать готовую виртаулку с клаудерой, там и hdfs и hive и всё что угодно. Поиграться разработчикам хватит и на одной, не разворачивая кластера.

предложите им кликхаус

Что это?

Что это?

Весьма специфичная СУБД, которую на волне хайпа пихают везде. Как например в этом "совете".

Весьма специфичная СУБД, которую на волне хайпа пихают везде. Как например в этом "совете".

любители джойнов/апдейтов подъехали, ну давайте предложим вертику это же бигдата)

любители джойнов/апдейтов подъехали, ну давайте предложим вертику это же бигдата)

Подъехали любители адекватных решений. В условиях общей задачи кх не подходит. У нас он как бы есть тоже, поэтому ваше ёрничество мимо кассы.

Подъехали любители адекватных решений. В условиях общей задачи кх не подходит. У нас он как бы есть тоже, поэтому ваше ёрничество мимо кассы.

по моему очень даже подходит есть 500гб csv по которым строиться аналитика на R. Засовываем все в кликхаус и делаем sql запросы

по моему очень даже подходит есть 500гб csv по которым строиться аналитика на R. Засовываем все в кликхаус и делаем sql запросы

ну так если пользоваться такой логикой, подойдет все что угодно)

по моему очень даже подходит есть 500гб csv по которым строиться аналитика на R. Засовываем все в кликхаус и делаем sql запросы

и надеемся что результат запроса (включая подзапрос в отдельности) влезет в память

Один мой друг рекомендует ms access

Опачки что подъехало

https://hortonworks.com/blog/first-class-support-long-running-services-apache-hadoop-yarn/

https://hortonworks.com/blog/first-class-support-long-running-services-apache-hadoop-yarn/

Slider в YARN встроили или что-то другое?

A native YARN Timeline Service based on HBase to record lifecycle events and metrics and provide rich analytics APIs for users to fetch/query application details - вот как бы с этим проблем не было.

скажите пожалуйста, а где нас так попиарили?

Data Science Chat )

ссылку можно?) что-то не видел здесь такого

а дайте ссылку что ли

к сожалению весь ru ds сидит в слаке

https://t.me/datasciencechat

https://t.me/datasciencechat ну не самый полезный канал, чуть что)

https://t.me/bigdata_ru

к сожалению весь ru ds сидит в слаке

это почему?

ну может к счастью) там же opendatascience

ну может к счастью) там же opendatascience

да там ниоч полезно (имхо)

там питон все больше

там питон все больше

dataframe видел ?

подскажите, есть чего для выгрузки из hdfs по sftp ?

flume

у него точно есть ftp, sftp коннектор даже если нет можно быстро написать

у него точно есть ftp, sftp коннектор даже если нет можно быстро написать

на самом деле большой гиморой писать свой коннектор для sftp

flume

только у нас не юзается

Я делал ози задачи на баше с использованием lftp

я могу соврать, но у меня коллега дня за три накидал и до сих пор работает насколько я знаю

Я делал ози задачи на баше с использованием lftp

вот походу к этого же и прийду, мне надо 1 небольшой файл раз в день выливать

вот походу к этого же и прийду, мне надо 1 небольшой файл раз в день выливать

есть еще nifi

это наиболее продакшнреди решение

и он тоже не юзается)

и хорошо)

ну его можно сбоку поставить на самом деле

та мне "хуяк-хуяк и готово" достаточно

в идеале, либка, которая по хдфс ходит и выгружает

ну просто следует помнить о том, что если выгрузка делается, не хочется каждый раз думать, сделалась она или нет, в нифи можно уведомления поставить и так далее

ну самое простое, это крон + hadoop fs -get + lftp

норм)

ози, блин, фтп умеет, а для сфтп надо патчить

Самое простое это HDFS fuse

Самое простое это HDFS fuse

это если есть контроль нормальный над sftp хостом, разве нет?

Да, а тут условие что контроля нет?

ози, блин, фтп умеет, а для сфтп надо патчить

ну в общем, я использовал lftp + ози, и lftp + крон, оба варианта рабочие и с докачкой , но бед дизайн

Да, а тут условие что контроля нет?

ну обычно это просто сторонняя организация

ну в общем, я использовал lftp + ози, и lftp + крон, оба варианта рабочие и с докачкой , но бед дизайн

копну в сторону через ози, походу быстрее всего будет, спасибо

ну ози обычные шелл скрипты запускать умеет же , ну и с уборкой за собой не нужно париться

Кстати, хотел все спросить, никто не использует hadoop2.9 c slider ?