@bigdata_ru

Страница 284 из 327
Dan
29.06.2018
08:33:11
Так сказать, чтоб можно было "из первых уст", как говорится

Henadz
29.06.2018
08:33:21
прям на пальцах объясняют

а по терверу и матстату - вот этот конспектик https://www.statlect.com/

Google
Henadz
29.06.2018
08:34:00
по-моему очень понятно всё описано

Maxim
29.06.2018
08:48:41
Roman
29.06.2018
11:14:39
Ruslan
29.06.2018
11:15:28
Азы чего?

ИИ?

undiabler
29.06.2018
11:42:17
азы применения машинного обучения во всяких простых повседневных задачках тоже с этой книжки начинал

Alena
29.06.2018
12:18:38
Это кстати уже не первый их поток, и есть очень хорошие отзывы от успешно окончивших. Я не обещаю что прямо вот сразу, но попробую найти и сюда пригласить :)
Было б интересно. Настораживает, что всего 6 недель и упор на практику. Есть риск выйти с умением решать три типовых задачи и все.

Roman
29.06.2018
13:04:22
ого а как в итоге осилил?
На тот момент, базу какую-то. Да тут как с фронтендом. Без практики никак. А много практики у меня сейчас нет. Через год этот МЛ ещё дальше уйдет. Надо заново будет все учить.

Google
ISMAIL
29.06.2018
16:03:29
ISMAIL KAYALI: Guys I really need your help I am searching for data set about ( Defect printed circuits board) if you know any source that I can get it from )

Сергей
30.06.2018
12:23:19
Всем привет, установил в анаконду tensorflow-gpu, а как понять что работает гпу версия? Команда import tensorflow-gpu не работает

Sergey
30.06.2018
12:23:57
import tensorflow as tf sess = tf.Session()

После этого у тебя скорее всего будет полностью захвачена видеокарта, и в кажется stderr полезет куча информации от тензорфлоу про её параметры

Сергей
30.06.2018
12:26:29
То есть просто tensorflow? Я думал там какая-то другая команда



Sergey
30.06.2018
12:28:29
Там gpu версия по апи идентичная обычной версии

Алсо, может проверить по nvidia-smi

Сергей
30.06.2018
12:32:42
В анаконде при попытке прогнать любую программу умирает ядро

Такой вопрос, в анаконде cudnn 5.1, у меня видеокарта 840м, на сайте указано что она только до 5.0 поддерживает, как поставить 5.0 и надо ли?

Ruslan
01.07.2018
18:18:52
Господа, кому знакомо такое: Intel MKL FATAL ERROR: Cannot load mkl_def.dll ?

Сергей
01.07.2018
19:09:50
Вываливает такую ошибку:



Разобрался, походу, памяти не хватает

Valentin
02.07.2018
10:26:53
Привет, у меня чисто вопрос по архитектуре. Есть задача хранить дохрена логов. Логи явовские. Дохрена это 0,5-1 Tb в день в исходном виде. Хранение более архивное, чем прямо нужно иметь туда возможность эффективно строить запросы. В идеале конечно чтобы эта сущность их еще и жала, хранить в исходном виде просто не гуманно. Что подскажите?

undiabler
02.07.2018
10:48:42
а логи парсятся или голый string? ну и вопрос по использованию, какие запросы как часто гонять?

если есть колонки и распарсиваются логи то у себя храню подобное в clickhouse, логов на данный момент около трех сотен миллиардов, занимает все какие-то крохотные 5 гигов засчет колоночного сжатия если не парсить то есть elasticsearch, но его нужно правильно настраивать, кластер все дела

Google
Valentin
02.07.2018
10:52:27
Логи парсятся в джейсон, по тому как хранить ограничений пока нет, но логично что в джейсоне. По запросам - ну скажем раза три в день, ну т.е. это не поток ))

undiabler
02.07.2018
10:53:08
да, для json elastic лучше подходит

кликхаус хорошо жмет все что повторяется в рамках колонки, т.е json нужно резать на колонки, это не всегда позволяет задача

Valentin
02.07.2018
10:55:04
на эластике я не заметил, чтобы он нормально это все жал, но и не заморачивался?

кликхаус хорошо жмет все что повторяется в рамках колонки, т.е json нужно резать на колонки, это не всегда позволяет задача
т.е. если группировать логи по какому либо принципу и вливать "длинную" колонку, то профит будет?

undiabler
02.07.2018
10:56:58
еластик очень плохо работает в 1 ноду, это изначально кластерное решение. Если вы поднимете 1 ноду еластика то можете вообще в нем разочароваться) он начинает раскрываться после 3+ нод в кластере

да, если эта "длинная" колонка повторяется то хранится будет 1 запись + много указателей

но на самом деле если задача раза 3 в день глянуть что там в логах то мне кажется вам даже будет достаточно обычного rsyslog с запаковкой в архивчики по N метров/записей

Valentin
02.07.2018
11:00:37
Там много объектов, т.е. совсем много поэтому с архивами получается очень не удобно

окей эластик поковыряю на предмет компрессии, с кликхайсом покопаю, а как всякие InfluxDB себя ведут?

undiabler
02.07.2018
11:04:07
но это совсем другое =) инфлукс это таймсерии

undiabler
02.07.2018
11:04:43
туда можно засунуть числовые данные, типа показатели датчиков, метрики. Логи - нет

Valentin
02.07.2018
11:05:41
а! понятно

Спасибо за инфу. А Хадуп под такие задачи черезчур?

Admin
ERROR: S client not available

undiabler
02.07.2018
11:18:34
ну смотря что за логи и какой заказчик) hadoop это сходу даже не база. HBase это база на основе hdfs кластера. Т.е если это делать под какой-то ентерпрайз то вполне себе годно. А если чисто под себя то я лично таких решений избегаю, потому что вместо разработки будете долго и кропотливо починять упавший кластер =)

но если прям тянет то на основе хадупа есть куча самых разных баз и решений

Valentin
02.07.2018
11:40:57
но если прям тянет то на основе хадупа есть куча самых разных баз и решений
Ок, покопаю, но очень аккуратно в эту сторону. Из общих моментов я тоже выделили, что будет довольно трудоемкое удовольствие

Marianna
02.07.2018
17:41:28
Всем привет! Устанавливаю keras прямо в jyputer через pip install, пишет что все ок. Когда хочу импортировать его, то пишет, что нет такого модуля... В чем может быть проблема??

Google
Георгий
02.07.2018
18:47:54
jupyter и pip используют разные интерпретаторы питона всего скорее

Sam
03.07.2018
04:41:41
Hi guys ,anyone worked in HQL

I need to convert current month date to next month date format like dd-mm-yyyy ,how to do in HQL?

Abdullo
03.07.2018
04:44:43
Sam
03.07.2018
04:46:22
Ok let me try now :)

try this to_char(eventDate, 'yyyy-mm-dd')
How I will get next month date in this ... please let me know

Example I have 20 july ,I need to get 20th aug in date format

Abdullo
03.07.2018
05:07:31
where number its mean how many month add to date and GETDATE() put your date

Sam
03.07.2018
05:15:36
Roman
03.07.2018
05:16:53
Concat with string july :D

Sam
03.07.2018
05:20:11
Can I use recursion?

Like in sql

Even if I get logic is SQL it's fine now?

Abdullo
03.07.2018
05:23:34
I got only 20 not 20 july
did you try with GETDATE()?

.
03.07.2018
06:42:41
А почему бы не накрутить за 5 мин и 100р пару тысяч лайков?

Окей, вопрос снят

Sam
03.07.2018
06:54:12
did you try with GETDATE()?
Yep it helped thanks a lot??

I got one query on top of this , please help

Google
Sam
03.07.2018
06:55:17
I got two dates , I got one more table which contains all public holidays...when my current date matches with public date it must go to previous date (of tht public holiday date)

Страница 284 из 327