Эт где такие ?

Эт где такие ?

яндекс

Дзен или маркет? )

Дзен или маркет? )

тцц, на это нда

Господа, тут кто-нибудь занимался автоматизацией процесса repair для кассандры?

cassandra-reaper был раньше

тулза от спотифай

+ была ищща на их трекере; хотят сделать это в кассандре 4 (но это не точно, шутка про финансирование кассандры)

cassandra-reaper был раньше

спасибки

тулза от спотифай

они теперь только гугол используют

?

Случается. А что, ты хочешь спросить, стоит ли использовать компонент от DataBricks, и как с ним бороться?

ага, вроде для обычной загрузки ок. а вот если мне надо делать exactly-once delievery и хранить оффсеты с кафки в самом редшифте, то какой-то цирк с конями начинается

вопрос первоначальный на самом деле отпал - у них можно костыль засунуть в виде pre-action, post-action, чтобы все делать в рамках одной транзакции. но в принципе, если будут какие-то мысли по теме, то интерестно чем туда пишите/читаете, как делаете upsert'ы

@MoneyMafia - канал где бесплатно публикуются различные способы и схемы заработка, которые продаются на тематических форумах за бешенные деньги.

Господа, кто-то использует Anaconda3'вский дистрибютив в связке с Spark2 (Hortonworks)? Если да, то какую - базовую или enterprise?

#вакансия Всем привет! Ищем Data Scientist в компанию разработчика онлайн-игр, офис в Краснодаре. Данных много, структурированы хорошо, проблемы конкретные, ресурсов хватает, модели в прод выводим быстро, перспективы масштабирования большие. Стэк - python. spark. Условия: • Компенсация релокации, лететь недалеко, климат южный, близко горы и море • Работа на результат, минимум бюрократии, менеджмент молодой и адекватный • Вилки нет, заплатим столько, сколько надо Подробное описание и форма отправки резюме здесь: http://company.plarium.com/career/russia-krasnodar/data-scientist/

сколько надо? смогу каждый месяц красный феррари покупать?

Описание заманчивое,молодцы))))

Мы тоде в Краснодар ищем разработчиков Big Data,сейчас Hadoop внедряем. Но размахам по зп похвастаться не можем... Зато задачи реально интересные и команда разработчиков активно развивающаяся))))Кому интересно,пишите. В Краснодаре реально хорошо?

Мы тоде в Краснодар ищем разработчиков Big Data,сейчас Hadoop внедряем. Но размахам по зп похвастаться не можем... Зато задачи реально интересные и команда разработчиков активно развивающаяся))))Кому интересно,пишите. В Краснодаре реально хорошо?

не Магнит?

Онлайн игры? )

Онлайн игры? )

Да, в основном ММО - мобильные, браузер, фейсбук

сколько надо? смогу каждый месяц красный феррари покупать?

Сможешь, если будут твои модели так хорошо работать :)

Мы тоде в Краснодар ищем разработчиков Big Data,сейчас Hadoop внедряем. Но размахам по зп похвастаться не можем... Зато задачи реально интересные и команда разработчиков активно развивающаяся))))Кому интересно,пишите. В Краснодаре реально хорошо?

А вы в какой индустрии? Как компания называется? Давайте дружить - митапы тематические сделаем, прокачаем Краснодар по биг дате :)

Господа, есть ли смысл вообще переходить с юпитера на цеппелин?

Господа, есть ли смысл вообще переходить с юпитера на цеппелин?

от задач зависит

Господа, есть ли смысл вообще переходить с юпитера на цеппелин?

Последний раз когда сравнивали, цеппелин нам не подошел потому что авторизации не было, то есть вообще.

ясненько

https://zeppelin.apache.org/docs/0.6.2/security/shiroauthentication.html#ldap

Да,Информационные Технологии Магнит?

Сможешь, если будут твои модели так хорошо работать :)

мои модели? я не хочу быть сутенером ?

Да,Информационные Технологии Магнит?

:) ага, так и подумал. Ну что ж, можно найти несколько общих тем - хотя бы по технологиям. Напишу в личку тогда насчет совместного митапа - вдруг интересно будет.

мои модели? я не хочу быть сутенером ?

что ж, феррари будут скучать по тебе :)

Майнеры лезут из всех щелей :)))

Что это за хайп такой ?:)

Отходил не сразу потер)

мамкины майнеры майнят и скупают карты

Лучше пуская кодить учатся :)) Быстрее деньги майнятся :)

Ребятки:) а кто-нибудь пробовал вместо внедрения огромного стека технологий с хадупом и ко, внедрить аналитическую бд от Яндекса clickhouse ??

кликхаус далеко не для всех кейсов, скорее даже довольно узкий

лучше его доку на этот предмет поизучать

Вот занимаюсь изучением. И похоже, что подходит под мой кейс, и есть даже драйвер для jdbc, что шикарно. Интересен опыт других, кто пробовал и чем это обернулось :)

У них есть официальный канал в телеграмме, если что

У них есть официальный канал в телеграмме, если что

Оп-оп:) а название, что-то типа clickhouse?

ClickHouse не тормозит Обсуждаем clickhouse.yandex https://t.me/clickhouse_ru

Спасибо !

Клакхаус же как эластиксерч, для индексов. Как им можно заменить хадуп стек то

Клакхаус же как эластиксерч, для индексов. Как им можно заменить хадуп стек то

вертику

Имелось в виду для хранения данных:)

Туда все класть, а не по файликам раскидывать

Ну или замену HBase

Он не для транзакционной нагрузки. Аналитические аггрегаты его кейс. Джоины весьма ограничены.

Имелось в виду для хранения данных:)

Весь вопрос в том , сколько данных

Кликхаус явно не предназначен для хранения кучи гавна)

Он не для транзакционной нагрузки. Аналитические аггрегаты его кейс. Джоины весьма ограничены.

Транзакции явно мне не нужны :))

Весь вопрос в том , сколько данных

Данных много, но пока не ясно точно. Не могу выйти на заданную мощность, потому, что предыдущее решение умирает:)

Кликхаус явно не предназначен для хранения кучи гавна)

Как раз для этого.

Как раз для этого.

А разве не для того, чтобы уже подготовленные данные туда пихать?

Философский вопрос, что считать говном.

Лол

Я под говном понимаю данные без всякой ценности. Ты похоже про сырье говоришь.

ну да

В этом плане само собой их нужно привести к нужному виду.

Благодарен товарищу за ревью кликхауза Плюсы: 1) Колоночная база => круто сжимает 2) Основной тип таблиц: MergeTable хранит данные по кускам, внутри каждого куска данные отсортированы по индексу, поэтому очень быстро отвечает на запросы с использованием индексом. 3) Фулскан тоже довольно быстрый, но жрет много ресурсов 4) Эффективная работа со словарями из других баз, позволяющая избежать join-ов больших таблиц на маленькие, а просто хранить маленькие таблицы в оперативке и кверить их как хэшмапу Минусы: 1) Обязательная Date-колонка в таблице 2) Геморное с точки зрения постановки на поток создание распределенных таблиц 3) Нет поддержки Null-ов (пока) 4) Реализовать репликейшн фактор можно только с помощью докеров, сильно сложнее, чем у всяких Кассандр и Вертик

Про фактор репликации и докер что-то странное

Лол

Как эт с докером то связано

ну это мне рассказали , я с ним не работал

Давай я тебе расскажу, что я работал со всем и самое крутое это хранить файлы в фтп

Давай я тебе расскажу, что я работал со всем и самое крутое это хранить файлы в фтп

ты как то на личный счет воспринимаешь , тут какие - то другие пункты у тебя сомнение вызывают ?

не, эт лишь тебе совет не слушать никого xD

ну либо слушать, но проверять

ну либо слушать и не проверять

я не хочу , я видел что человек делал с этим кх

Давай я тебе расскажу, что я работал со всем и самое крутое это хранить файлы в фтп

а таблицы в файлах на фтп!

а таблицы в файлах на фтп!

вот да

вот что