только в разных степенях детализации

возможно :) я говорю о том, что данными надо управлять, а не складывать просто так

для каждого датасета должна быть понятна цепочка его использования

Нет, ты все равно говоришь что сырые даныне нужно сложить, а оперативные(по факту копии) держать только те, чья необходимость обусловленна какой то ценностью, потому что каждая новая копия это кост.

А я тока про первое говорю )

*данные

ненене, я против складывания сырых данных, если они не нужны

сырые данные обычно нужны до момента их обработки

Тоесть вы не храните логи на hdfs ?

старые, в течении длительного периода времени

O'Reilly выложили в свободный доступ ряд книг по DevOps (Monitoring Distributed Systems, DevOps in practice, Docker in the Cloud и др.) и по Performance (Effective Performance Engineering, Optimizing Cloud Migration, и др). Скачать можно по ссылке: http://www.oreilly.com/webops-perf/free/

O'Reilly выложили в свободный доступ ряд книг по DevOps (Monitoring Distributed Systems, DevOps in practice, Docker in the Cloud и др.) и по Performance (Effective Performance Engineering, Optimizing Cloud Migration, и др). Скачать можно по ссылке: http://www.oreilly.com/webops-perf/free/

Скачай и залей сюда с тегами book и pdf pdf-ки. Пожалуйста :)

да я уже качаю )

решил сначала форварднуть сообщение, а потом уже качнуть )

там книжки не книжки половина

по 30-100 страниц

Hashicorp закрывает Otto - проекта для развертывания dev- и prod-инфраструктуры, который позиционировался как наследник Vagrant. http://amp.gs/8NQu

День девопс новостей

там книжки не книжки половина

т.е. это демки? или сами книги небольшие?

видимо второе, поскольку вряд ли их бы выпустили столько за такой малый срок

День девопс новостей

вот да

Книжки небольшие, по 50-60 страничек

ну и отлично

на самом деле грамотная реклама

да )

Тоесть вы не храните логи на hdfs ?

мы идём в ту сторону, где хранить надо только те датасеты, которые используются

ну, хочется верить

некоторые раньше продавались, но год назад

на самом деле грамотная реклама

боюсь там воды много вот что )

мы идём в ту сторону, где хранить надо только те датасеты, которые используются

ты не ответил )

ты не ответил )

?

мы храним только те исторические данные, которые нужны в процессах машинного обучения

боюсь там воды много вот что )

на то они и бесплатные что никто не мешает взять, пролистать и выкинуть )

когда тебе нужны данные за пару лет, чтобы хорошо обучить модель

мы храним только те исторические данные, которые нужны в процессах машинного обучения

все равно не ответил) по факту все логи так и храните ? кроме дебаг вариантов всяких и временных )

Нет, чистим

У нас сейчас много телодвижений будет по миграциям данных

Меньше данных - меньше боли и работы

Поэтому установка - заняться дата менеджментом

Чтобы не совсем уж петабайтами ворочать, а хотя бы терабайтами

Некоторые книжки просто старые

субъективно

Lightweight Systems for Realtime Monitoring - вроде бы не очень маленькая, но 2014 года

т.е. там про графит немного, Риман, логстэш

эсли это сырые данные в виде файликов. которые одинаков сериализованны, то вобще одна фигня

Hashicorp закрывает Otto - проекта для развертывания dev- и prod-инфраструктуры, который позиционировался как наследник Vagrant. http://amp.gs/8NQu

а что кто то пользовался ?

а что кто то пользовался ?

хз. я только вот неделю как про него прочитал

я знал что он существует но он конкурирует сразу с многими.

так что не смотря на бренд даже смотреть не стал

а это вроде первое что хашикорм сказали что не взлетело ?

я знал что он существует но он конкурирует сразу с многими.

а учитывая традициооное качество hashicorp — нафиг надо

год издания в названиях папок нужно отражать?

при зеркалировании книг

год издания в названиях папок нужно отражать?

хз, не обязательно наверное к ним не так много людей возвращается для сравнения ревизий

скорее вопрос в том нужно ли знать старая книга или новая

скорее вопрос в том нужно ли знать старая книга или новая

в принципе даты есть внутри

как кто сортирует у себя книги должно быть очень субъективно, и каждый всё-равно будет в итоге подгонять под свой формат, если ему это принципиально

я не отговариваю, просто показалось избыточным трудом

https://drive.google.com/open?id=0B6t6k7KRJAULRFpVbmZ1SWIzVjg - зеркало бесплатных книжек http://www.oreilly.com/webops-perf/free/ #books #book

https://drive.google.com/open?id=0B6t6k7KRJAULRFpVbmZ1SWIzVjg - зеркало бесплатных книжек http://www.oreilly.com/webops-perf/free/ #books #book

да, так лучше когда будет готово, я тогда снесу свою

но я еще не докачал, да )

Кажется все докачал

ERROR: S client not available

но надо проверить

А у кого хадуп есть ?

у меня опять вопросы )

у меня опять вопросы )

@bigdata_ru

скоро там будет много властелинов хадупа )

Бля, он меня и из того чата выгнал

Это просто праздник

кто? из какого?

Дениска, из специального

спокойно, для желающих можем вести прямые включения с мест "схваток интеллекта"

но моё мнение, если желаете, следующее: нужно иметь удивительно стойкий и крепкий характер, чтобы так себя топить, как это делает Денис.

Я жажду хронику боев из коррекционного детсада

@bigdata_ru

это опять чятик дениса?

нет

Не, это ламповый

это мой с Серёгой чатик

SEAL OF LACK OF DENIS

а Денис очень хочет чтобы я его сделал не ламповым )

Пилите прохладных про Дениса, а то уже интересно прям стало

Давайте про Дениса реально в каком-нибудь специальном месте. Это интересно наверное в том числе и мне, но тут нас почти 80. Вкратце, есть такой хрен https://www.facebook.com/denis.izmaylov . С пару недель назад он свой чатик @devops_ru решил как-то причесать и ввел новые правила. Также он ввел такие же правила в чатике @ru_docker, чем вызвал революцию, которую проиграл. Известен тем, что раскидывает рекламу своих сервисов в около разработчиских чатах. В жизни своих чатов обычно не участвует или изредка в режиме райтонли, или парой реплик ни о чём. Модерирует обычно набегами, стирая в истории посты. Совершенно бесполезная тема, потому что бессмысленная. Строго не дает делать ссылки на специализированные, но не их его коллекции, чатики. Устроил небольшую клоунаду с @metrics_ru - типа из его зоны чатиков *_ru и сегодня апофеозом срач по поводу @bigdata_ru - мол название влезло в его зону интересов. За остальным предлагаю в личку к например @hitmaker

Не-не-не-не, не надо ко мне в личку, всё, забыли тему )

Это Денис не прав конечно, про зону интересов

Простите пожалуйста что потревожили ? всё, тут только девопсы!

Да не, если интересно можно чатик сделать. Я даже в нем поучаствую. Но не настолько мне интересно, чтобы его создавать :)

чатик для мяса. https://telegram.me/topic_ru

драмы то какие

Небольшой вопрос. Я хочу с Jenkins запускать Ansible. (Точнее, совершенно не хочу, а был заставлен). У нового дженкинса есть плагин для запуска ansible. Проблема в том, что на дженкинс-слейве нет ключей. Нет ничего более беспомощного, безответственного и испорченного, чем энсибл без ключей. Как их можно туда подпихнуть прямо из дженкинсовской джобы? У Дженкинса есть специальное место для Credentials, можно ли сохраненные там ключи как-то подпихнуть в энсибл на слейве? Если нельзя, как это правильно делать? (То что сделать это нельзя намекает вот такой тикет: JENKINS-37548" Ansible plugin is unable to forward ssh key", Priority: Blocker, Status: Unresolved)

Да, ansible без ключей чутка адок

их и надо подпихивать из кредсов

там примерно такая админка (картинка сперта не из моей админки, а из интернетов, и перезалита на имгур): http://i.imgur.com/mrmkW1K.jpg

тот ключ, что в выпадашке credentials почему-то не работает на внешние серваки, даже если я пропишу им всем один и тот же ключ (что само по себе ахтунг)