но опять же это было правильно для 11ой версии

В случае с rac-еще и с кластерными ожиданиями синхронизации кэша буферов блоков.

delete это эксклюзивная блокировка таблицы

Что значит эксклюзивная блокировка? Какие операции она блокирует?

читать чисто закомиченные данные - это не магия

Без ожидания.

ну так это может привести к не согласованности данных

а если они читают что бы изменить?

Это уже не чтение, если for update

т.е. как бы это должно регулирвоаться уровнями изоляции

ну так это может привести к не согласованности данных

Что это?

кмк

вот же

а если они читают что бы изменить?

а когда меняют то не верно из за того что конкурентный сеанс изменил данные?

в противном случае думаю это в любой базе есть

не так что бы это выглядело как сложная фича....

ну так это может привести к не согласованности данных

В оракле ты ни при каких обстоятельствах не можешь получить несогласованные данные.

?

ораклу это расскажи

у них при всем при этом в лицензионном соглашение написано, что они не несут ответственности за потерю и искажение данных, как в общем и за их консистентность.

в общем ок, пусть будет оракл суперкрутой

но я думаю что он тупо самый дорогой ?

тема примерно как с айфоном

а когда меняют то не верно из за того что конкурентный сеанс изменил данные?

Это проблема потерянных обновлений. Она решается оптимистической/пессимистической блокировкой. В любом случае, это грязные данные не даст.

и оракл наиболее стабильная из всех баз и проверенная различными банками(там где потеря транзакций ну уж очень критична)

исторически сложилось

спору нет, просто совпало ?

erasure coding cassandra кто использовал?

erasure coding cassandra кто использовал?

Разве в cassandra он есть? Может новый hdfs имелся ввиду?

Разве в cassandra он есть? Может новый hdfs имелся ввиду?

ну что-то пишут, правда не на самой доке кассандры, просто hbase+hive у меня программисты не осилили, а cassandra осилили, но вот как теперь в бюджет укладываться, не оч ясно

Всем привет! Возник вопрос - а как нынче из python по удобному записывать/читать бинарные файлы из HDFS? Скажем, у меня есть процесс в который прилетают данные, он генерирует на них дообученную модель (не spark.ml) и складывает ее в виде .pkl в hdfs директорию в виде: model_checkpoint_12312371238 model_checkpoint_12312374444 model_checkpoint_12312723124 ...Далее у меня есть другой python со spark-submit - нужно чтобы он нашел в этой hdfs директории последний файл по номеру в хвосте и прочитал его в pkl. Пока все сделал через вызов hdfs cli через subprocess, но кажется каким-то жутким костылем...

Всем привет! Возник вопрос - а как нынче из python по удобному записывать/читать бинарные файлы из HDFS? Скажем, у меня есть процесс в который прилетают данные, он генерирует на них дообученную модель (не spark.ml) и складывает ее в виде .pkl в hdfs директорию в виде: model_checkpoint_12312371238 model_checkpoint_12312374444 model_checkpoint_12312723124 ...Далее у меня есть другой python со spark-submit - нужно чтобы он нашел в этой hdfs директории последний файл по номеру в хвосте и прочитал его в pkl. Пока все сделал через вызов hdfs cli через subprocess, но кажется каким-то жутким костылем...

Есть же модуль пайтона соответствующий. Название забыл.

Есть же модуль пайтона соответствующий. Название забыл.

в том то и дело что их аж три штуки, как пишет Wes McKinney: http://wesmckinney.com/blog/python-hdfs-interfaces/ и я что-то не могу понять что из этого стабильно нормальное, а что мертво

snakebite

Я его юзал

Либо используй pyarrow с libhdfs

Либо используй pyarrow с libhdfs

?ты там вообще что-нить не делаешь?

Либо используй pyarrow с libhdfs

а ты не сранивал стрелку с py4j и cpython?

а ты не сранивал стрелку с py4j и cpython?

Я вообще слабак и не датаинж, в отличие от @erzentd ????

Я вообще слабак и не датаинж, в отличие от @erzentd ????

?не надо таких шуток вот чес

Я вообще слабак и не датаинж, в отличие от @erzentd ????

ну он у нас тут бог и отец, но я серьезно спросил

просто у меня все руки никак не дойдут отбенчить разные варианты использования стрелки

а ты не сранивал стрелку с py4j и cpython?

только с паркетом, жрет меньше и побыстрее

спасибо, тоже полезно

только с паркетом, жрет меньше и побыстрее

Которая из? Ж?

Которая из? Ж?

стрелку с паркетом говорит сравнивал

петоно похоже

?а я вот думаю, как мечты реализовывать

но конечно да, интересна платформа все же

и какая стрелка тоже интересно, через их эекстернал сторедж или файлы или мемкопи?

Ребя, а чё такое стрелка? Гугл не предлагать, был там уже.

Ребя, а чё такое стрелка? Гугл не предлагать, был там уже.

pyarrow и фреймворк Apache Arrow

стрелку с паркетом говорит сравнивал

кек, фастпаркет и паркет от стрелы

кек, фастпаркет и паркет от стрелы

пу или ж?

пу или ж?

питоний

Ребя, а чё такое стрелка? Гугл не предлагать, был там уже.

формат хранения данных; обещают спидап засчет 0кост копирования в / из

?а я вон скоро буду монстров делать с 10 тб дисками ?

надо ток потом подумать, как всё же уговорить статью из этого зафигачить

Уголовную?

поддерживают кучу яп, плафторм, и жпу тоже поддерживают

и назвать её - "русское авось, бестпрактис и рекомендации в сторону - у нас рулит бюджет"

вообше на самом деле достаточно круто было бы оттетсировать насоклько быстрее / медленне копировать достаточно массивные структыр напрямую в жпу / через стрелку

Прямо волшебство, а не стрелка )

?интересно, будет кому интересна статья о проекте с кассандрой на 10 тб хдд

ну идея что прост копируешь кусок памяти или что они там обещают

Ща придет ретейл со своими пивотами

и он интерпретируетс одинаково независимо от платормы

Массив из миллионов структур

вообше на самом деле достаточно круто было бы оттетсировать насоклько быстрее / медленне копировать достаточно массивные структыр напрямую в жпу / через стрелку

А поюзал кто, насколько оно всё сырое?

А поюзал кто, насколько оно всё сырое?

непонятно, собственно поэтому и спросил

да поидее уже нормальная тема

тотже спарк активно юзает стрелку

для скуля

так что я бы предположил, что некоторые вещи там достаточно стабильны

Типа сериализовать его можно в любой формат на диске?

не в любой, а в конкретный

?интересно, будет кому интересна статья о проекте с кассандрой на 10 тб хдд

А правда стоит это делать? Учитывая компактизацию, ребаланс и вот это всё?

?интересно, будет кому интересна статья о проекте с кассандрой на 10 тб хдд

Проект построить можно, вопрос как его потом сопровождать. Переливка таких нод будет больным событием

А правда стоит это делать? Учитывая компактизацию, ребаланс и вот это всё?

не стоит, потому и статья потом будет "русское авось, бестпрактис и рекомендации в сторону - у нас рулит бюджет"

Проект построить можно, вопрос как его потом сопровождать. Переливка таких нод будет больным событием

Никак. Все довольны, заказчик освоил бюджет и вроде получил результат, хрыч выступил на каком-нибудь хайлоаде. А поддержку повесили на эникеев и все умерло.

Никак. Все довольны, заказчик освоил бюджет и вроде получил результат, хрыч выступил на каком-нибудь хайлоаде. А поддержку повесили на эникеев и все умерло.

?хрыч полтора месяца обьяснял, показывал примеры, говорил с разрабами, хрычу сказали - нам по*, вот бюджет, делай

Arrow интересно используется в rapids.ai проекте как in memory платформа для GPU вычислений. Не знаю как он с CPU, но если я не ошибаюсь его пилит та же команда, что сделала Parquet

Никак. Все довольны, заказчик освоил бюджет и вроде получил результат, хрыч выступил на каком-нибудь хайлоаде. А поддержку повесили на эникеев и все умерло.

нафиг с таким выступать, потом не возьмут никуда :D

Никак. Все довольны, заказчик освоил бюджет и вроде получил результат, хрыч выступил на каком-нибудь хайлоаде. А поддержку повесили на эникеев и все умерло.

?ну кстати ты угадал кому передавать буду

нафиг с таким выступать, потом не возьмут никуда :D

На fuckup nigths можно выступить.

На fuckup nigths можно выступить.

Только если там. Конференция стоит того, были там?

Каждую неделю такая конференция.

Друзья в догонку к недавнему вопросу по Data Quality, а у кого какие кейсы по управлению Метаданными? Кроме Информатики MDM

Самодел - самое то

Остальное превращается в освоение бабла

Самодел - самое то

А как именно самоделать-то? Задайте направление

https://www.collibra.com/data-governance/data-quality/

А как именно самоделать-то? Задайте направление

Покупаешь лицензию 3 самых популярных продуктов.

Изучаешь.

Нещадно копируешь лучшее.

А как именно самоделать-то? Задайте направление

Исходи из требований. Будет более-менее понятно, какие фичи нужны.