@clickhouse_ru

Страница 238 из 723
Андрей
22.08.2017
15:06:01
> Performance comparison of analytical DBMS https://clickhouse.yandex/benchmark.html былоб интересно тут еще монгу увидеть :) точнее заказчикам - для доводов попробывать. а то у нас тут монга да мускуль для отчетов. (но есть мысль поэксперементировать в рамках задачи рефаторинга системы отчетов в одном из RTB проектов) хотя конечно что мускуль, что монга - глупо натравливать скрипты аналитики/отчетов на неагрегированные данные в этих базах... но всеж

papa
22.08.2017
15:06:47
монгу оО

Vsevolod
22.08.2017
15:07:19
для монги там логарифмическая шкала нужна

papa
22.08.2017
15:07:31
https://habrahabr.ru/post/320762/

Google
Андрей
22.08.2017
15:07:59
да. закзчик влюбился в нее с определенного момента времени... и во всех тз ее включает :(

papa
22.08.2017
15:09:11
ну если он за это платит..

Vladimir
22.08.2017
15:09:24
Silver Bullet!

Alexey
22.08.2017
15:09:46
а то только что обновились и ту же проблему поймали

не можем писать в дистрибьютед

Андрей
22.08.2017
15:11:52
но там все сложно конечно... в лоб в монгу стату не пишем. куча всякой предагригаций...

спс за ссылку :) жаль ток картинок нет

Vitaliy
22.08.2017
15:12:18
если данных относительно немного, монга вполне нормально молотит агрегаты. Когда тормозит добавляют памяти или инстансов. Детские болезни давно победили, тулзы для конфигуринга хорошие... так что многие используют

Андрей
22.08.2017
15:16:14
да в этом и проблема что много, и с каждым днем все больше, а добавление каждого дополнительного поля для критерия агригации - боль в этом году даж пришлось сделать отсылку ежедневных отчетов по почте :) менеджерам достал тормознутый report builder... но там и другие болячки есть, изза которых и нужен тотальный рефакторинг с нуля... если в общем одобрит поэксперементирую... но чуствую полюбят, судя потому что я пока смог понять в теории :)

M
22.08.2017
15:19:20
Мы с монги на клик перешли. Действительно, если хранить мелкие аггрегаты в монге, то по индексам выбирает шустрее клика. Но после определенного кол-ва документов в коллекции начинается деградация скорости... И кол-вом шардов там дело не решится.

M
22.08.2017
15:23:54
Какая у вас конфигурация?

Google
M
22.08.2017
15:24:19
у нас было 3 шарда, по 2 реплики. Проседания после 1 - 2 млрд записей в 1 коллекции

но жевало и по 10 млрд документов

но зависит от многих факторов... и от того что используется, какие индексы, какой средний размер документа и т.п. если верно подойти, то выжать можно многое

Vladislav
22.08.2017
15:26:23
у меня пока в планах сервис, где планируем использовать монгу, рассчитывали на 1млрд записей максимум. спасибо. )

Alexey
22.08.2017
15:28:38
@milovidov_an хотел поинтересоваться, куда копать можно в случае получения ошибки Code: 1000. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Assertion violation: !_path.empty() in file "/home/robot-metrika-test/jenkins/workspace/clickhouse-packages-build/sources/contrib/libpoco/Foundation/src/File_UNIX.cpp версия - 1.1.54276 (обновились сегодня)

Alex
22.08.2017
15:49:44
В общем, удаленный воркер писал у нас в Distributed таблицу чтоб данные размазать, переключили на обычную ошибка с Assertion violation: !_path.empty() in file пропала
Интересно. Получается, удаленный клиент записывал данные в Distributed таблицу, и ошибка возникала на серверах, куда происходила запись (не на шардах), а если локальный клиент писал в ту же Distributed таблицу, то ошибки не было?

Kirill
22.08.2017
16:12:31
Интересно. Получается, удаленный клиент записывал данные в Distributed таблицу, и ошибка возникала на серверах, куда происходила запись (не на шардах), а если локальный клиент писал в ту же Distributed таблицу, то ошибки не было?
у нас обычно запись идет влокальные таблицы, с distributed был наш внутренний костыль чтоб с удаленного ДЦ (там всего 1 воркер нужен) равномерно размазывались по машинам. Если писать в локальные то все ОК

Dmitrii
22.08.2017
16:43:50
Про 404. Надо было добавить хедер host. Omg.

nikoinlove
22.08.2017
16:45:52
https://github.com/yandex/ClickHouse/blob/master/doc/administration/tips.txt а помогите этот файлик найти?)

Alex
22.08.2017
16:51:18
https://clickhouse.yandex/docs/en/operations/tips.html

nikoinlove
22.08.2017
16:51:48
^.^

Alex
22.08.2017
16:56:03
у меня такая же фигня. Если я пишу локально на сервере в дистрибьютед - тоже падает
Будем разбираться... А эта ошибка сразу возникает, т.е. запрос не завершается, так?

Alexey
22.08.2017
16:57:01
да, верно. Отваливается почти мгновенно

Будем разбираться... А эта ошибка сразу возникает, т.е. запрос не завершается, так?
причем проверил на стенде (установка кластера снуля) - та же ошибка.

Alex
22.08.2017
17:05:01
Можете ещё конфиг кластера прислать?

Alexey
22.08.2017
17:07:57
хотя это конфиг со стенда, он, вобщемто, дефолтный

только шарды добавлены

ошибка на нем воспроизводится

Google
Alexey
22.08.2017
17:08:37
единственный ньюанс - CH у меня на debian

Alex
22.08.2017
17:37:49
Удалось повторить. Проблема возникает при вставке в Distributed таблицу в шард, состоящий из одной локальной реплики. Готовим фикс.

Alexey
22.08.2017
17:48:03
Спасибо, жду с нетерпением :)

Alexey
22.08.2017
19:09:53
Коллеги, а SELECT FINAL для ReplacingMergeTree работает?

Tatiana
22.08.2017
19:14:42
Да

Alexey
22.08.2017
19:18:16
просто в документации как-то слишком однозначно проигнорировали этот движек

Lex
22.08.2017
19:32:48
Добрый вечер уютный чат. Вопрос может показаться нубский. Хотим хранить в КХ json, своего рода raw-data событий. Внутри этого события может быть вложеность элементов 3-4. Стоит ли использовать поиск по такому полю? Как хорошо КХ работает/ищет по json? Еще раз прошу прощения за глупый вопрос.

papa
22.08.2017
19:36:43
у нас такие вещи обычно раскладываются на key1: Array(String), key2: Array(String), .. где каждому листовому значению json соответствует путь до корня, который сохраняется в key1[i],key2[i] ...

после этого отдельные уровни лучше жмутся, если нет произвольной глубины то почти не теряется структура и поддерживается поиск для части полезных запросов.

Denis
22.08.2017
22:02:16
хей хо! У вас с этими презенташками какие-то не лады, хотел оттуда получить стартовую инфу о clickhouse в целом https://clickhouse.yandex/presentations/meetup7/#

ссылка на них вот отсюда идет — https://yandex.ru/blog/clickhouse

тут есть кто, я хотел бы чуть въехать в происходящее, понять так скажем базовые вещи

?

papa
22.08.2017
22:06:35
стартовую инфу можно получить отсюда https://clickhouse.yandex/docs/ru/single/index.html

Denis
22.08.2017
22:09:01
а я там был, но что если я тупее, но все еще хочу понять границы возможностей, варианты применения и сделать это быстрее?

или мои вопросы будут оскорбительны для вас как для специалистов?

Гипотеза: есть журнал, в котором 30 школьников получают оценки от 1 до 5 по 10 предметам в течении года. В чем разница между гипотетической другой СУБД и ClickHouse. То есть что я могу сделать и\или что я могу сделать в разы быстрее с оценками и учениками (не будем сейчас касаться объема данных). Или: каких видах задач ClickHouse дает преимущества?

Google
Alex
22.08.2017
22:16:29
Во введении довольно подробно описано (в том числе, и когда применять ClickHouse не надо): https://clickhouse.yandex/docs/ru/introduction/index.html Ещё есть статья на хабре (читайте с комментариями): https://habrahabr.ru/company/yandex/blog/303282/ Презентации лично у меня работают (какие именно у вас нелады?), но всё равно лучше смотреть записи живых докладов на youtube.

Запросы по оценкам 30 школьников должны быстро работать в любой базе. Раньше вот вообще бумажными носителями обходились ?

Denis
22.08.2017
22:18:24


перехожу по вот этой ссылке —

papa
22.08.2017
22:18:28
>на каких видах задач ClickHouse дает преимущества? когда у вас журнал на 30М школьников, и вам нужно найти школу с наибольшим средним баллом.

Denis
22.08.2017
22:19:17
и получал даже разные результаты :\

один раз это список блочный с чем-то что не грузилось (сейчас он прогружается быстро и показывает реку в Минске)



вот такой, это процесс загрузки

а превращается это в



Alex
22.08.2017
22:21:08
нажимайте клавишу "вправо" и листайте слайды ?

Denis
22.08.2017
22:21:50
ох, ребят :) Мне кажется вы там все совсем не верстальщики

большое спасибо за ответы и советы

без обид, но вот это выглядело для меня так, как будто все сломалось :) Хотя бы добавьте информацию о том, что оно "двигательно"



Alexey
23.08.2017
05:23:32
> вы там все совсем не верстальщики И это хорошо ? Тогда они бы не были программистами

Aleksandr
23.08.2017
08:48:18
Удалось повторить. Проблема возникает при вставке в Distributed таблицу в шард, состоящий из одной локальной реплики. Готовим фикс.
Алексей, ни в коем случае не тороплю. Но когда примерно ожидать фикс? У нас тоже возникла эта проблема

Igor
23.08.2017
08:50:05
Подскажите по ON CLUSTER и его работоспособновтси Вчера опробовал ON CLUSTER через отправку запроса DROP TABLE IF EXISTS db.last_state_model ON CLUSTER model Такой таблицы не существовало, весь кластер пропал - пришлось вручную поднимать каждую ноду Сегодня пытаюсь еще раз попробовать : отправляю несколько комманд `DROP TABLE IF EXISTS db.last_state_model ON CLUSTER model ... CREATE TABLE db.last_state_model ON CLUSTER model ...` Через какоето время отправляю еще пару запросов DROP TABLE IF EXISTS db.last_state_model ON CLUSTER model Происходит падение всего кластера из 6 нод ;( Из лога нахожу : `BaseDaemon: (from thread 24948) Received signal Segmentation fault (11). BaseDaemon: Address: NULL pointer. BaseDaemon: 0. clickhouse-server(DB::ProcessList::addTemporaryTable(DB::ProcessListElement&, std::string const&, std::shared_ptr<DB::IStorage>)+0x8c) [0x29602cc] BaseDaemon: 1. clickhouse-server(DB::Context::addExternalTable(std::string const&, std::shared_ptr<DB::IStorage>)+0x207) [0x2986dc7] ` Куда смотреть ? Подскажите кто-то использует ON CLUSTER у вас нормально работает в проде ?

Roman
23.08.2017
09:16:42
новая фича, "DROP CLUSTER IF EXISTS"

Google
Alexey
23.08.2017
10:03:45
https://www.altinity.com

Stas
23.08.2017
10:09:51
https://www.altinity.com
Странно что яндекс сам не запустил такое

Roman
23.08.2017
10:11:32
я так понимаю это их официальный партнер

Диана
23.08.2017
10:46:35
ребят, срочно, можно восстановить как-то таблицу удаленную последним запросом?

?
23.08.2017
10:51:17
ребят, когда выйдет stable

Dmitriy
23.08.2017
11:22:17
Привет находясь в clickhouse client, пробую сделать dump —query="SELECT * FROM My_table FORMAT Native" > my_table.native выдает expected optimize, знаю что допустил ошибку, а вот найти не могу

Dmitriy
23.08.2017
11:29:24
нет, не работает или я совсем тупой)

Dmitriy
23.08.2017
11:45:57
да, одинарные

и - -

Страница 238 из 723