может, он не знает, что такое "страхование" и какой уровень покрытия

про БД кстати, если кто нибуть когда нибуть найдет логику в запросах tinkerpop, раскажите мне пжлст.. у меня уже мозг опух в попытках понять

А что это?

казино и лотереи неврно курят в стороне, методом научного тыка удается получать то что нужно. но понять почему оно так ...

это у апача такой язык есть

Что-то все продукты апача смотрел, не припомню такого

http://tinkerpop.apache.org/docs/current/reference/#preface

Это в чем?

в гремлене

Что-то все продукты апача смотрел, не припомню такого

но это же как с восемнадцатилетними китайцами

Блин, опять графы

Блин, опять графы

ну если ты предложишь вариант описания множеств и их отношений между собой лучше чем графы, то я с радостью выслушаю. пробовали затолкать в постгре, получились графы на костылях

Не, я просто с графами в БД вообще не работал, даже не могу представить, где и как их использовать

ох зачем я это увидел

когда то пилил свою графовую БД

даже где-то используется в продакшене )

ну в данном случае. это больше иследование чем использование. есть такое "обобщение множеств". но в данном случае еще нужно сохранять наследственность этих множеств. грубо говоря можно представить как кучу точек, в которой ты обводишь группы из этих точек и группы пересекаются и имеют вложения других групп и все это растет постоянно.

не проще ли это в памяти это держать и хранить только агрегаты ?

не проще ли это в памяти это держать и хранить только агрегаты ?

Память резиновая?

держать можно в чем угодно. вопрос как это описывать. да и размеры минимально 10 миллионов точек и на каждую точку в среднем 15 000 связей

при этом оно все динамически изменяется постоянно

память сейчас дешевая, у меня просто есть похожий кейс

правда я щас смотрю больше на тензоры всякие для всего этого

иначе сильно быстро приходит проклятие размерности )

память сейчас дешевая, у меня просто есть похожий кейс

Как озу раскидываете? Как терабайты храните?

ну оно может бы и в таблицах работало. если бы не менялось динамически. а так первая версия была на векторах обьединеных в пачку и создающих сколько то мерный массив

а так оно сейчас в кассандре складываается через януса.. и собственно и находится все в оперативке

просто процесс сериализации векторов и выгрузки на диск а потом обратной загрузки. при количестве обьектов в несколько сот миллионов.. да ну его нафиг такие приключения

Как озу раскидываете? Как терабайты храните?

Да никак пока )

пока бы просто мат модель обкатать

пока бы просто мат модель обкатать

я уже четвертую версию фигачу и уже третья БД. третья строила модель, но мееееедленно и печально

просто в процессе работы получается что на 1 метр обобшеных данных создается 1 гиг логов базы

кассандра вроде порезвее на запись. вот и проверим насколько ее хватит

где то видел даже кейсы что кассандра записывает все. и не всегда можно получить назад то что только что записал в нее. типа еще не дошло до выдачи но сохранилось

eventual consistency

если с одной нодой работать, то такого быть не должно, она свежие данные должна в memtable хранить (или как там это называется)

да у меня уже мысль свое сварганить

ага, memtable это просто представление WAL в памяти

на си по быстрому

заточенное под хранение таких данных

на си по быстрому

Угу я тоже так начинал гыы

ну у меня задачки попроще

примерно представляю как это можно хранить

Всем привет! Ребят, ищем дата саентиста в хоккейную аналитику, Москва, проект живой и технологичный https://antirabstvo.ru/job/iceberg-moscow-34-data-scientist-hockey/ Пишите в личку!

Всем привет! Ребят, ищем дата саентиста в хоккейную аналитику, Москва, проект живой и технологичный https://antirabstvo.ru/job/iceberg-moscow-34-data-scientist-hockey/ Пишите в личку!

закончите фразу: дба тут при том, что...

закончите фразу: дба тут при том, что...

У нас большой объем данных, с которым нужно работать

Всем привет! Ребят, ищем дата саентиста в хоккейную аналитику, Москва, проект живой и технологичный https://antirabstvo.ru/job/iceberg-moscow-34-data-scientist-hockey/ Пишите в личку!

до сих пор не нашли?

Ищет пожарная, ищет милиция...

до сих пор не нашли?

Дык там все мутно

Дык там все мутно

да вроде идея крутая

Мне проект зашел

Дык там все мутно

Можно поподробнее?

да вроде идея крутая

Она никому не нужна мне кажется

https://youtu.be/MRQVlMTTj9k вот про проект и что мы делаем

Она никому не нужна мне кажется

А это уже рынку решать

Она никому не нужна мне кажется

Да, кроме тех кто работает в профессиональном спорте

например, NHL

А если вам сказать что они сдают оборудование NHL за 200 млн зелени в сезон, вы передумаете?

Но вы правы, в россии еще очень туго с пониманием, для чего вообще нужна спортивная аналитика

А это уже рынку решать

Ну судя по тому что они никого не нашли и условия не изменились. Рынку оно в никуда

Но вы правы, в россии еще очень туго с пониманием, для чего вообще нужна спортивная аналитика

Сделали мне смешно. Показывал ваш ролик канадской хоккейной команде. Они так и немпоняли нафиг это нужно. Видимо тупые

У нас большой объем данных, с которым нужно работать

не очень вяжется. данные у вас есть, а дба причём?

дата саентист будет обрабатывать данные через встроенные в субд процедуры и функции?

дата саентист будет обрабатывать данные через встроенные в субд процедуры и функции?

Насколько я могу представить в дб они хранят паттерны. И паттернов много

Ребят, такое ощущение, что я не по адресу вообще зашла) простите если так)

Ребят, такое ощущение, что я не по адресу вообще зашла) простите если так)

Такое ощущение что вы вообще мало знакомы с ит сообществом и стилем общения в нем. :)

ERROR: S client not available

да, стиль общения в нашей ит-компании существенно отличается)

Этот стиль не изменился за 29 лет от слова совсем. Ваша компания видимо что то особенное.

И почему-то у меня ощущение, что будь мы все лицом к лицу в реальной жизни, стиль общения также отличался от того, что звучит в чате)

Со времен фидо. Тонны сарказма и скептическое отношение ко всему и не только среди русскоговорящей части ит. Я понятия не имею где вы смогли видеть других ит. Может они и не ит совсем?

Всем привет! Ребят, ищем дата саентиста в хоккейную аналитику, Москва, проект живой и технологичный https://antirabstvo.ru/job/iceberg-moscow-34-data-scientist-hockey/ Пишите в личку!

Вам надо в другие чаты, в не в дба

И почему-то у меня ощущение, что будь мы все лицом к лицу в реальной жизни, стиль общения также отличался от того, что звучит в чате)

Могу встретится лицом к лицу и сказать, что вы ищите не тех, хотите? ?

Самое обидное, что касяки HR перекладывают на соискателей...

Ребят, такое ощущение, что я не по адресу вообще зашла) простите если так)

бывает. загляните в чат к дата саентистам

Насколько я могу представить в дб они хранят паттерны. И паттернов много

может быть. но для того, чтобы их заселектить, не нужнор быть дба. ну может только если ии должен их потом селектить самостоятельно

Есть кто шарит в серверах, я разрабатываю сервис облачного хранения данных. В ЛС.

Всем привет! Ребят, ищем дата саентиста в хоккейную аналитику, Москва, проект живой и технологичный https://antirabstvo.ru/job/iceberg-moscow-34-data-scientist-hockey/ Пишите в личку!

https://t.me/data_science_cases

И почему-то у меня ощущение, что будь мы все лицом к лицу в реальной жизни, стиль общения также отличался от того, что звучит в чате)

https://www.youtube.com/watch?v=sz1rlW-UY3U

Есть кто шарит в серверах, я разрабатываю сервис облачного хранения данных. В ЛС.

закончи, пожалуйста, фразу: дба тут при том, что...

закончи, пожалуйста, фразу: дба тут при том, что...

... в базах нужно хранить данные клиентов....

или не подсказывать?

В базах нужно читать данные

Хранить никому не уперлось

https://t.me/data_science_cases

Спасибо!

базы нужно держать на серверах :)

бывает. загляните в чат к дата саентистам

Спасибо!

В базах нужно читать данные

ну оооок

ну оооок

А тут без ок, я раньше тоже думал, надо хранить все, вот только толку?

Сейчас, когда ужат в рамках коммьюнити версии БД, я очень четко стал граничить, что надо, а что для галки

В базах нужно читать данные

хорошо, допустим. какой дба тебе нужен? у тебя ж там не сферическая база в вакууме. какие скиллы, какие задачи, сколько платить будешь?

хорошо, допустим. какой дба тебе нужен? у тебя ж там не сферическая база в вакууме. какие скиллы, какие задачи, сколько платить будешь?

Мне дба не нужен, как и компании, судя по тому, что мне приходится выполнять роль дба

А так, ответ выше

Мне дба не нужен, как и компании, судя по тому, что мне приходится выполнять роль дба

Купи себе 2 дба по цене одного. :)

Купи себе 2 дба по цене одного. :)

Да да да, это одна из причин, почему ищу новую работу ?

Хотя конечно жалко, когда с нуля поднимаешь и проект и людей

Хотя конечно жалко, когда с нуля поднимаешь и проект и людей

Ну стандартная практика. Замена универсальных и дорогих на узких спецов с низкой зарплатой. Это значит что компания достигла цели и собирается сидеть на жопе ровно

Ну стандартная практика. Замена универсальных и дорогих на узких спецов с низкой зарплатой. Это значит что компания достигла цели и собирается сидеть на жопе ровно

неее, тут жалко мне, как работнику, компании пофиг

неее, тут жалко мне, как работнику, компании пофиг

Ну это понятно как раз. И обидно. Но скорее всего к лучшему.