.count?)

А, сорри, сначала не так понял. Ну скажем 100к строк нужно будет вычитывать в среднем

используйте broadcast join

100к это немного :)

А с какого количества начнутся проблемы? 1m?

Проблемы в том смысле что производительность резко упадёт и нельзя будет решить добавив больше машин в кластер

проблем не будет, просто на небольших df broadcast позволяет положить правый df в память каждого executor'а

Сейчас таски для небольших групп объектов выполняются, но все может быть

Ааа, ясно, почитаю про это

@gurinderu ты купил в итоге весь бандл за 15$?

Да

Скинуть?

расскажите за бандл)

это тип 3 сундучка в доте , надеюсь?

да тип того

@gurinderu "Head First Data Analysis" не смотрел?

скиньте мне плез , у меня совсем плохо с литературой сейчас

Сейчас читаю)

Гриша охерел, знает меня от и до

скиньте мне плез , у меня совсем плохо с литературой сейчас

Адвансед скалу сперва прочитай)

Охеренная книга. Жаль 9 главы у меня не было(

Адвансед скалу сперва прочитай)

вот это было грубо

ваы даже названия не даёте(

вот это было грубо

Да? У нас видимо разные понятия о грубости

ваы даже названия не даёте(

Advanced scala with cats

в смысле я читал!

KrivdaAllStars https://www.humblebundle.com/books/data-science-books

Я могу скинуть, но не всем

А то не совсем честно )

не честно не всем)

Хотя нас тут не много

нас всего 278, считай половина это боты

ник,а ты в итоге не купил подписку в сафари букс?

Да сафари букс гавно какое то

Мне не понравилось совсем(

но там есть все орейлевские книги

в том числе и не вышедшие еще

И

У меня ещё крут стоит недочитанный и пурпурный дракон

На пару лет чтива)

у меня тоже,уже несколько лет стоит этот список

Я могу скинуть, но не всем

ну вот, а мы на работе с коллегами покупали

ну вот, а мы на работе с коллегами покупали

) ну вообще эт честно по отношению к хамблбандл.

да я шучу

я вообще только одну книгу хотел из всех

Так что давайте в группу не буду кидать, кто попросит - тому скину

прошу

) ну вообще эт честно по отношению к хамблбандл.

надеюсь орейли хоть там будет книги продавать

Ща до работы доеду и скину

я вообще только одну книгу хотел из всех

Про Спарк?)

кассандра

Ого

а, не сорь, я все читал кроме питона и Р

Нифига себе у тебя времени)

я давно читал

как раз на сафарибукс

насчет книг -- оч рекомендую designing data intensive applications, годнота

её в бандле нет, и так хорошо продается

у нее хорошие шансы стать классикой

насчет книг -- оч рекомендую designing data intensive applications, годнота

плюсую этого господина!

вы вообще очень жесткие ребята) я успеваю только в чатик писать

вот так вот

вы вообще очень жесткие ребята) я успеваю только в чатик писать

просто ты оч умный и замеры делаешь, молодец!

спумят да книги читают

спумят да книги читают

и подкасты пишут

просто ты оч умный и замеры делаешь, молодец!

я замеры давно не делал

@pomadchin я точно знаю, что ты удалял CDATA из xml в спарке

NO

зачем мы тебя тут держим)

я не работаю с хмл)

а в чем у тя проблема? обычн хмл парсеры игноряд сдату

да нифига

я кароч базу террористов грузанул и там везде cdata)

я кароч базу террористов грузанул и там везде cdata)

Так и запрещают телеграмм

нужно поискать там Помадчина)