Можно я буду ботом?

Зайчатки разума

хотя вы знаете, коллеги, курс по бигдате за 180 тысяч рублей, это на самом деле даже интересно и любопытно

хотя вы знаете, коллеги, курс по бигдате за 180 тысяч рублей, это на самом деле даже интересно и любопытно

Да просто пытаются на менеджерах разжиться, пока хайп идет

но мы же можем между собой в рамках сообщества делиться информацией и точно также развиваться в сфере бигдаты, нам даже особо хайп не нужен

хотя вы знаете, коллеги, курс по бигдате за 180 тысяч рублей, это на самом деле даже интересно и любопытно

а чему ты хочешь научиться? Пчелайн бигдата?

если брать лично меня, то мне очень много чего интересно. и natural language processing, и deep learning, и статистика

Ну так можно взять онлайн-курсы, где это дают без какого-то необходимого заранее уровня, а потом в книги

при том, что в целом я много в чём разбираюсь, мне было бы углубить и расширить свои знания

нет, нет, я про ньюпролаб вообще рассуждал и их курс по большим данным )

Без решения практических задач углубленные знания забываются быстрее, чем их успеваешь в голову запихивать:)

Без решения практических задач углубленные знания забываются быстрее, чем их успеваешь в голову запихивать:)

Плюсую

с практикой как раз проблем нет вообще, думаю что даже ближе к октябрю-ноябрю начнём искать студентов-математиков )

Но, в то же время, в большинстве бигдата

Мало кто реально хорошо шарит в теории

В смысле, куда искать студентов?

к нам, ковырять бигдату

а откуда ты?

К вам - это к кому? И почему именно студентов?

студентов для прохождения практики в том числе ) потому что студентам нужно проходить практику, а её у нас много. к нам - это к нам. кто мы и откуда мы - это вопросы, которые интересуют не только нас самих, но и каждого человека. откуда мы пришли, куда идём.. вы действительно хотите об этом поговорить? ?

ты можешь просто ответить, где ты работаешь?

Да чтоб вам студенты о проделаной работе так отчитывались, как вы на вопросы отвечаете

ты можешь просто ответить, где ты работаешь?

мне что-то подсказывает внутри, что название организации мало что скажет. это не яндекс, и даже не гугл.

пусть будет, например, Datalab Inc. )

Кста, разобрались в проблеме с flume )

Кста, разобрались в проблеме с flume )

Круты

Как?

перечитали логи, перекопали жиру, заглянули в исходники.

Flume попытался создать файлик, по каким то причинам машина в этот момент была перегружена. Взять лизу на namenode получилось, но при попытке приконнектится к дата нодам к 2м из 3х он получил отказ. Записал блок тока на одну ноду, потом побежал говорить об этом в нейм ноду, и попытался начать запись. В этот момент другой тред флюма обнаружил что файлик underreplicated и попытался закрыть его. На вызове close происходит fsync который также стучится в нейм ноды и фейлится после 4х попыток. В доке flume есть настроечка про ретраи закрытия в которой написано Number of times the sink must try renaming a file, after initiating a close attempt. If set to 1, this sink will not re-try a failed rename (due to, for example, NameNode or DataNode failure), and may leave the file in an open state with a .tmp extension. If set to 0, the sink will try to rename the file until the file is eventually renamed (there is no limit on the number of times it would try). The file may still remain open if the close call fails but the data will be intact and in this case, the file will be closed only after a Flume restart. В результате через 3 минуты, он ок ренеймит файл. Но походу close остается висеть. и рестарт флюма конечно не помогает

чем открыть гиговый xml?

под виндой

можно vi поставить и открыть

о, точняк

чем открыть гиговый xml?

Sublime Text

он вроде не открывает большие

Да это, пожалуй, лучшее, что открывает большие файлы. Может и vi, но у них там своя секта.

Мне кажется проще обычным less открыть

less вроде не грузит весь файл в память, в отличие от саблима и вима

По статистике, если с 0, то: Гланц “Медико-биологическая статистика” и 2 курса на stepic.org

чем открыть гиговый xml?

если читать, то обычным фаром можно

откуда столько народу и все занимаются big dataэой? о_0

откуда столько народу и все занимаются big dataэой? о_0

последний наплыв с Developers Chat

Кто то в комментах на хабре пропиарил

толку то

Пришел с хабра, интересно. Скиллов по аналитике пока нет, но хочется понять что к чему

Пришел с хабра, интересно. Скиллов по аналитике пока нет, но хочется понять что к чему

Аналогично.

Кто где и как скилл прокачивает? Какие ресурсы, книги читаете и т.п.?