после джоб сервера у многих неприятные могут быть ощущения от спарко приблуд таких; нам нужны брейкин факты

Какие у тебя ощущения от него и что-нибудь другое, например Livy пробовал?

Какие у тебя ощущения от него и что-нибудь другое, например Livy пробовал?

а мы хотели его нашим питонистам сделать для облегчения работы с разными джобами чтобы проще было деплоить разные джобы по-разному скофинженные (разные очень входные датасеты)

Какие у тебя ощущения от него и что-нибудь другое, например Livy пробовал?

я вот мист пробовал)

в итоге джоб сервер инкапсулировал ошибки и делал практически невозможным понять где проблема - джоб сервера, кривых рук того кто деплоит, или у спарк кластера

а мы хотели его нашим питонистам сделать для облегчения работы с разными джобами чтобы проще было деплоить разные джобы по-разному скофинженные (разные очень входные датасеты)

эт оч большая боль , у нас так норм конфиурацию и не сделали

и делало все невозможным; не упрощало работу питонистам а усложняло но у нас EMR, сравнивали с ним

Какие у тебя ощущения от него и что-нибудь другое, например Livy пробовал?

Я лайви спарк кернел в жупайтере пытался использовать - он поднимает сессию на каждый ноутбук отдельно, да ещё и бывает не одну, и вообще какой-то корявый

Ввод-вывод в джисоне не всегда адекватно превращается в то, что нужно, когда попадает обратно в тетрадку

понятно, значит из претендентов пока остаётся mist

Как в спарке обрабатывать экспешены, которые возникают еще на этапе чтения из кассандры в датафрейм? ReadFailureException ломает все выполнение, а я бы, например, хотел их пропускать, найдись такая возможность (datastax коннектор)

streamsets сырой же?

streamsets сырой же?

Мы его пробовали - вроде рабочий. Слышал где-то его используют в интерпрайзе.

всем привет

Ищем Scala-разработчика для крутейшего стартапа (Data Analytics) в Сингапуре. Описание вакансии на платформе: https://jobs.coderfit.com/j/38-scala-engineer Компания: 70 человек (30 инженеров), офисы в Сингапуре и Цюрихе. З/п: ~$7500 после уплаты налогов. Визовая поддержка от компании. Процесс собеседования многоэтапный, но дружелюбный: 1. Разговор с HR. 2. Разговор с разработчиком от стартапа. 3. Задание: написать пробный Scala код (~4 часа по времени). 4. Один день с командой (перелет и размещение от компании). Описание: - Что вы будете делать: вы управляете программным обеспечением платформы анализа данных, которое ежедневно обрабатывает более 100 миллиардов точек данных на основе местоположения. - Как вы это будете делаете: вы используете функциональное программирование в идеале с помощью Scala (или Haskell, Clojure, Elm, OСaml или другими подобными языками) - С кем вы это будете делать: вы будете работать вместе с другими программистами, учеными-аналитиками и менеджерами проектов, некоторые из которых ранее работали в Google и Uber. Если знаете того, кому это интересно, пишите на dina@coderfit.com.

Ищем Scala-разработчика для крутейшего стартапа (Data Analytics) в Сингапуре. Описание вакансии на платформе: https://jobs.coderfit.com/j/38-scala-engineer Компания: 70 человек (30 инженеров), офисы в Сингапуре и Цюрихе. З/п: ~$7500 после уплаты налогов. Визовая поддержка от компании. Процесс собеседования многоэтапный, но дружелюбный: 1. Разговор с HR. 2. Разговор с разработчиком от стартапа. 3. Задание: написать пробный Scala код (~4 часа по времени). 4. Один день с командой (перелет и размещение от компании). Описание: - Что вы будете делать: вы управляете программным обеспечением платформы анализа данных, которое ежедневно обрабатывает более 100 миллиардов точек данных на основе местоположения. - Как вы это будете делаете: вы используете функциональное программирование в идеале с помощью Scala (или Haskell, Clojure, Elm, OСaml или другими подобными языками) - С кем вы это будете делать: вы будете работать вместе с другими программистами, учеными-аналитиками и менеджерами проектов, некоторые из которых ранее работали в Google и Uber. Если знаете того, кому это интересно, пишите на dina@coderfit.com.

а работать то где?

Сингапур или Цюрих, написано ж)

а работать то где?

в Сингапуре.

в Сингапуре.

зарплата в каких долларах?

зарплата в каких долларах?

В сингапурских долларах на месте. Для этого сообщения мы перевели в американские доллары.

В сингапурских долларах на месте. Для этого сообщения мы перевели в американские доллары.

Тогда хорошие деньги )

Норм зряплата

В сингапурских долларах на месте. Для этого сообщения мы перевели в американские доллары.

Раньше над было ) я завтра улетаю )

Нормальный такой аналитик скалист

Участие в проектах в области анализа данных, машинного обучения, предиктивной аналитики и других современных направлений использования данных как вот такие вещи в вакансии понимать?

Участие в проектах в области анализа данных, машинного обучения, предиктивной аналитики и других современных направлений использования данных как вот такие вещи в вакансии понимать?

ну типа надо будет реализовывать то что аналитеги напридумывали на кластере

просто думаю, каковы реальные возможности из devops перейти в Data Engineer, вакансии читаю scala на высоком уровне, матанализ, куча индексов, алгоритмы

ну счас довольно много вакансий по девопсу хадупика, туда можно но прямо в Data Engineer без опыта прогинга будет сложновато

в питере их нет

кроме у епама пары

девопс превращается в садамию, потому и смотрю куда уходить, освоить скалу на уровне сеньора конечно жёсткие требования

просто думаю, каковы реальные возможности из devops перейти в Data Engineer, вакансии читаю scala на высоком уровне, матанализ, куча индексов, алгоритмы

зачем вам?? в депопс куча денег, куча вакансий, множество возможностей релокации

зачем вам?? в депопс куча денег, куча вакансий, множество возможностей релокации

и стэк меняющийся каждые пол года с добавлением - а не хотите ли рефакторить код сверху ваших обязанностей, а мы вам 500р добавим в месяц

вроде бы уже давно vagrant/ansible/chef/puppet/jenkins

зачем вам?? в депопс куча денег, куча вакансий, множество возможностей релокации

первоё о чём говорят сейчас в вакансиях девопов - опсов у нас нет, техпо у нас нет, тестеров у нас нет, теперь в их замена, у нас ненормированный рабочий день, переработки оплачиваются по специальным схемам(то есть не оплачиваются,а каждый час переработок позволяет взять 10 минут отгула образно), деплоить надо когда все в конце дня уже всё закомитили

вроде бы уже давно vagrant/ansible/chef/puppet/jenkins

а ещё куберы, мезосы, докеры, дифы бранчи, интеграционные тесты, инфраструктура, правка запросов в базы и тп

Но так почти в любой области

Хрыч и сюда добрался

вроде бы уже давно vagrant/ansible/chef/puppet/jenkins

я из 16 собеседований на 9 узнал, что я ещё и рефакторинг кода делать должен перед выкладкой на прод....

Хрыч и сюда добрался

я тут давно

больше года уже

Я не про наличие а однообразное нытье

ну тут человек спросил, я ответил, почему думаю менять направление

первоё о чём говорят сейчас в вакансиях девопов - опсов у нас нет, техпо у нас нет, тестеров у нас нет, теперь в их замена, у нас ненормированный рабочий день, переработки оплачиваются по специальным схемам(то есть не оплачиваются,а каждый час переработок позволяет взять 10 минут отгула образно), деплоить надо когда все в конце дня уже всё закомитили

ад какой то

я из 16 собеседований на 9 узнал, что я ещё и рефакторинг кода делать должен перед выкладкой на прод....

собеседовались только в рф?

собеседовались только в рф?

да, у меня плохо с разговорным английским

Может тогда лучше силы на англиский потратить в место того чтоб стек менять ?

Может тогда лучше силы на англиский потратить в место того чтоб стек менять ?

мне понравилось работать с кафками, кассандрами, хранилищами под них, с hbase, нагрузочные тесты проводить с ними и софтом

в питере их нет

в питере их больше десятка

как обычно, лишь юы ляпнуть

крок, газпром

крок, газпром

газпром автоматика у меня там знакомый, у меня нет профильной вышки

а кому она там нужна?

вообще вышка

руководству

не смеши мои тапки

они ищут год человека из-за этого

автоматика сервис

совсем не из-за этого

ERROR: S client not available

у меня например нет вышки

и? сколько лет у тебя опыта, что вышка волнует? студент?

и? сколько лет у тебя опыта, что вышка волнует? студент?

нет, не студент

в опс никогда вышка профильной не была, опыт дороже

могу скинуть резюме, но руковоство автоматики сервис отказалось из-за отсутствия вышки брать

тк требование профстандартов

я сейчас с фнс отработал год по договору подряда из-за этого

вместо трудовой

Вот чот работал я с Газпромом, работал с Северсталью и нигде такой херни нет

Иногда так договор специально заключают чтобы расстаться проще было

Иногда так договор специально заключают чтобы расстаться проще было

ну ораклисты были по тк, но с ними тож как проекты сдали попрощались

просто думаю, каковы реальные возможности из devops перейти в Data Engineer, вакансии читаю scala на высоком уровне, матанализ, куча индексов, алгоритмы

А в итоге линейная регрессия алл зе тайм из коробки.

А в итоге линейная регрессия алл зе тайм из коробки.

Для линейной регрессии надо нуллы заменять на что-то адекватное, иначе не сойдётся. В продакшене нынче уже давно бустец)

Народ всем привет. Ищем дата инженеров в компанию Х5. Собираемся строить архитектуру с нуля. Есть бюджет и желание руководства компании. Компоненты: Kafka, HDFS, greenplum, exasol. Считалка на spark и greenplum. Так же будет ELT, какой ещё не решили. Из транспортных тулзов до лэйка: nifi, sqoop, flume. Так же требуются devops-ы (ansible/puppet) ЗП по рынку высокая, социалка - ДМС, скидки в магазинах ?, партнерские программы в спортзал и английский. За подробностями пишите в личку.

Народ всем привет. Ищем дата инженеров в компанию Х5. Собираемся строить архитектуру с нуля. Есть бюджет и желание руководства компании. Компоненты: Kafka, HDFS, greenplum, exasol. Считалка на spark и greenplum. Так же будет ELT, какой ещё не решили. Из транспортных тулзов до лэйка: nifi, sqoop, flume. Так же требуются devops-ы (ansible/puppet) ЗП по рынку высокая, социалка - ДМС, скидки в магазинах ?, партнерские программы в спортзал и английский. За подробностями пишите в личку.

Скидка в пятерочке, монаршая щедрость

Скидка в пятерочке, монаршая щедрость

?

Скидка в пятерочке, монаршая щедрость

там ещё перекрёсток и карусель

просто все равно смешно

да уже не очень смешно, когда смотришь на то что еда в месяц стала 50к

в этом и юмор, что на родине мрачный пиздец, и работодатели готовы "субсидировать" покупку еды

https://dzone.com/storage/assets/9549031-dzone2018-researchguide-containers.pdf

Для веб аналитики из браузера используем Snowplow, верно? Другого ничего хорошего нет?

всем доброго дня! сразу прошу прощения, если что-то очень неканоничное или глупое спрошу, это от неопытности, которую будем исправлять, вопрос такой - под генерацию печатных форм документов для различных ИТ-подсистем планируем использовать сервер очередей, что бы развязать потребителя данного сервиса, и бэкэнд сервиса. Т.е. на вход - команда на генерацию документа, на выходе - готовый файл. Важно - что сервер очередей будет использован и для стриминга с различных систем мониторинга (уже другая задача) Передача файлов через Kafka - вообще так делают? понятно что можно передавать ссылки на файлы, а забирать файл уже на стороне потребителя по ссылке, но это еще одну подсистему подключать, хотелось бы, что бы потребитель работал только с очередью.

всем доброго дня! сразу прошу прощения, если что-то очень неканоничное или глупое спрошу, это от неопытности, которую будем исправлять, вопрос такой - под генерацию печатных форм документов для различных ИТ-подсистем планируем использовать сервер очередей, что бы развязать потребителя данного сервиса, и бэкэнд сервиса. Т.е. на вход - команда на генерацию документа, на выходе - готовый файл. Важно - что сервер очередей будет использован и для стриминга с различных систем мониторинга (уже другая задача) Передача файлов через Kafka - вообще так делают? понятно что можно передавать ссылки на файлы, а забирать файл уже на стороне потребителя по ссылке, но это еще одну подсистему подключать, хотелось бы, что бы потребитель работал только с очередью.

косяк с кафкой что ей не нравятся большие мессаджи. недавно в одном проекте порбовали (хоть оно изначально необдуманно конечно) и быстрее будет слать ссылку в месадже

спасибо за ответ! а степень "большести"?

да они маленькие были) килобайты джейсона

неожиданно... спасибо за инфу

я с кроликом работал, про него тоже так говорят, не любит большие объемы...