и да, предлагаю тему слияния чатов закрывать, это оффтоп

в том числе для сбора огромного количества данных - это очень хорошее решение, т.к. позволяет отталкиваться именно от времени записи

проблема что большинство из них сырые и не то что бы в продакшене, в "примерке" вылезают косяки. А что вылезет потом... Я за жизнь понял - что нефункциональный продукт с комьюнити бывает важнее функционального но без. Да и к тому же оптимизация разная нужна. Кому то запись ускорить нужно, а вот мне TimeSeriesDB нужна для чтения. В итоге я остановился на надстройке над монго, под названием ArcticDB (гитхаб). Но это весьма специфическая бд (под мои нужды). Не для логов и не points in time.

проблема что большинство из них сырые и не то что бы в продакшене, в "примерке" вылезают косяки. А что вылезет потом... Я за жизнь понял - что нефункциональный продукт с комьюнити бывает важнее функционального но без. Да и к тому же оптимизация разная нужна. Кому то запись ускорить нужно, а вот мне TimeSeriesDB нужна для чтения. В итоге я остановился на надстройке над монго, под названием ArcticDB (гитхаб). Но это весьма специфическая бд (под мои нужды). Не для логов и не points in time.

интересно, смотрю уже. спасибо за идеи

насчёт косяков... вот ярчайший пример https://jira.mongodb.org/browse/SERVER-14322

и это Монго - а баг 3 года висит. комьюнити огромное, среди KeyValue - точно . Я самолично на него напоролся. Что уж говорить, прото свежие БД или БД с меньшим количеством комьюнити - OpenTSDB, influx, или даже какой нить clickhouse.

положим, clickhouse в разы интереснее выглядит, как минимум из-за шаговой доступности к разрабам ?

некоторые в контактлисте живут, так что удобно, да и идея у них крутанская

@fridabernghardt у нас вакансии запрещены :-/

@fridabernghardt у нас вакансии запрещены :-/

Сори

положим, clickhouse в разы интереснее выглядит, как минимум из-за шаговой доступности к разрабам ?

их канал в ТГ — один из самый продуктивных, что я вижу вполне реально получить совет от разраба КХ за ~час

их канал в ТГ — один из самый продуктивных, что я вижу вполне реально получить совет от разраба КХ за ~час

потому что почти все разрабы в ТГ сидят ?

потому что почти все разрабы в ТГ сидят ?

ага, и плюс там оффтопа нет

Как же всё-таки прекрасно работать с действительно большим количеством данных, когда внезапно находятся настолько неочевидные, но крайне полезные и важные связи... Это я так, радость изливаю ?

а подробнее этот пример можно, если не секрет?)

И большие это сколько?

И большие это сколько?

помом определение больших это "всё то что нельзя InMem 1 Instance". Понятно что граница постоянно отодвигается, т.к. инстансом в 100Гб RAM уже никого не удивишь. И даже 1ТБ RAM уже есть. Хотя заполнять этот Тб замучаешься...

помом определение больших это "всё то что нельзя InMem 1 Instance". Понятно что граница постоянно отодвигается, т.к. инстансом в 100Гб RAM уже никого не удивишь. И даже 1ТБ RAM уже есть. Хотя заполнять этот Тб замучаешься...

смотря сколько парсеров в работе

А кто-нибудь использует Azure ML (тот, который с визуальным дизайнером и веб сервисами) в боевых задачах?

+ к вопросу

выглядит наглядно

Коллеги, прошу минуточку внимания, попросили порекомендовать одно бесплатное и интересное мероприятие.

Spark Ballet: открытый тренинг от EPAM 9 сентября в Петербурге ЕРАМ проведет открытый тренинг по Apache Spark для опытных Java-разработчиков, которые планируют работать или уже работают с Big Data. Алексей Зиновьев расскажет о том, какие компоненты Spark стоит использовать сразу, как настроить окружение и построить свой процесс ETL. Там же будет live coding, решение задач трансформации и анализа данных, работа с новейшей версией Spark и не только. Требования к участникам: базовые знания Linux, уверенные знания Java и SQL, плюсом будет опыт работы с Hadoop Регистрация уже открыта и обязательна: https://events.epam.com/events/spark-ballet

Опять Петербург ;( В Москве будет подобное?

А это кстати хорошая идея, провести большой митап по AI / ML в Москве

Я подумаю на эту тему

а в регионах отличных от мск и питера такие мероприятия даже и не светят(

а в регионах отличных от мск и питера такие мероприятия даже и не светят(

к сожалению и самим этим регионам ничего не светит...

а в регионах отличных от мск и питера такие мероприятия даже и не светят(

Возьмите и сделайте

Все эти мероприятия на энтузиастах держутся

в регионах наберется худо-бедно человек 10 =) в бар разве что сходить

и чо?

соберите 10

Все эти мероприятия на энтузиастах держутся

факт!

собирайте =) я лучше в питер сгоняю, если захочу

а все почему-то думают что организаторы еще наживаются на таких вещах.

сапсан же

вот JUG может быть и наживается (сильно сомневаюсь) а остальные точно делают на чистом энтузиазме

а все почему-то думают что организаторы еще наживаются на таких вещах.

дак да, всегда в минусах, в лучшем случае в 0

А это кстати хорошая идея, провести большой митап по AI / ML в Москве

pyData проводится бывает)

все уже видели как вчера яндекс рассказал про свои достижения?

сапсан же

увы, я не из мск =) так бы конечно

но самолет недорого, было бы желание.

все уже видели как вчера яндекс рассказал про свои достижения?

ссылку кинь

все уже видели как вчера яндекс рассказал про свои достижения?

поиск-то? клевый, надеюсь не как с погодой xD в регионах врет.

Возьмите и сделайте

для начала нужно экспертизу хоть какую то иметь в этом вопросе, это я касательно о DS - а с этим есть некторые сложности

все уже видели как вчера яндекс рассказал про свои достижения?

там 50 минут. я всё ждал человека, который стенографию проведёт

а в регионах отличных от мск и питера такие мероприятия даже и не светят(

нск с дубльгисом, например)

для начала нужно экспертизу хоть какую то иметь в этом вопросе, это я касательно о DS - а с этим есть некторые сложности

Я думаю с десяток людей наберется даже в тьмутаракане

Просто их собрать и делиться знаниями/идеями никто не запрещает

хоть в барчике за пивом

хоть в барчике за пивом

вот другое дело, а помещение искать, собирать доклады между 10 человеками как-то не совсем разумно =) если только в офисе каком-нибудь, то да, круто

помещение от 35 и выше нужно.

а зачем сцена, помещение?

Вам шашечки или ехать?

я просто в офисе собирал всех

ну вот я удаленщик, где я соберу всех?

=)

Я думаю с десяток людей наберется даже в тьмутаракане

только их найти еще нужно)

иногда давали большой зал в каком-нить универе

Ну вы только проблемы видите

я их не вижу, предвзятость с твоей стороны вижу =)

было бы желание =)

Или я ивент менеджер хороший, или все это не так сложно. Всегда получалось пробить помещение, проектор и прочий стаф

прикинь, даже проектор есть =)

было бы желание =)

.

Коворкинг пространства, или креативные площадки — первые кандидаты захостить такое мероприятие

антикафе

есть культурные залы и небольшие музеи

просто заморачиваться ради 10 человек это такое себе.

я бы заморочился. вы друг друга замотивируете и будете поддерживать в дальнейшем. это бесценный профит

ну окей, попробуемс

если дойдет до реальных действий - напишу в чатик =)

Так скоро дата фест с трансляцией, не?

И пайдата

И в начале сентября митап Moscow data science

В сентябре много событий

Да и довольно часто в разных городах проводят мл тренировки

Чём не митап)

насчёт косяков... вот ярчайший пример https://jira.mongodb.org/browse/SERVER-14322

Ярчайший пример чего? Что люди тикеты не читают?

Вот кстати. Есть ли тут люди, которые хранят данные в монге и дальше используют их в ML пайплайнах?

Ну и в целом, поругайте монгу. Очень интересно послушать

хорошая db, чего ее ругать.