@clickhouse_ru

Страница 605 из 723
Wolf
31.07.2018
11:50:43
ну просто скопировать бинарник это железобетонный способ

Stanislav
31.07.2018
11:50:48
через dpkg-repack, например

Всё-таки не надо из системы делать LFS, лучше, если версия пакета всё же совпадает с версией бинарника

Wolf
31.07.2018
11:52:15
ну это критический случай и тут лучше иметь сто процентную гарантию отката

Google
Andrey
31.07.2018
11:55:17
Доброго дня. А CH должен сам апдейтить ip для хостов кластера, если у имени хоста, что забит в конфиг, сменился ip?

Vadim
31.07.2018
11:58:10
потрачено

Alexey
31.07.2018
11:59:13
Доброго дня. А CH должен сам апдейтить ip для хостов кластера, если у имени хоста, что забит в конфиг, сменился ip?
ClickHouse release 1.1.54388 DNS-кэш теперь автоматически обновляется при большом числе сетевых ошибок.

Vladimir
31.07.2018
11:59:27
apt-get install clickhouse-server=$version
пару месяцев назад не работало спсб всем за советы

Alexey
31.07.2018
11:59:40
337 Исправлена работа запроса SYSTEM DROP DNS CACHE: ранее сброс DNS кэша не приводил к повторному резолвингу имён хостов кластера.

mikhail
31.07.2018
11:59:46
Привет! Накопительный итог как можно посчитать? А внутри группировки?

Stanislav
31.07.2018
12:00:22
пару месяцев назад не работало спсб всем за советы
Хм... В апреле точно работало, в июне - тоже. Я что-то пропустил?

Vladimir
31.07.2018
12:01:14
может не пару месяцев а в прошлом году была проблема что только последняя версия в репо лежала

Kirill
31.07.2018
12:04:36
Привет! Накопительный итог как можно посчитать? А внутри группировки?
C помощью runningAccumulate и комбинатора агрегатных функций -State. Например что-то типа такого runningAccumulate(countState())

mikhail
31.07.2018
12:05:15
@kmarenov, cпасибо!

Pavel
31.07.2018
12:20:06
у меня довольно нубский вопрос. если я буду делать, условно, create table ... engine= ... from select ... CAST(... as enum16(..., \'4.1.2_כוכב_הסלולר_a_9\' = 111, ...)) as ..., from ... , он эти буквицы заморские нормально обработает?

Viktor
31.07.2018
12:42:54
Привет. В документации changelog последний для 18.1.0 при этом 18.4 как я понял — уже stable

Google
Viktor
31.07.2018
12:43:01
а чего на него нет ченджлога? :)

Wolf
31.07.2018
12:43:38
все в процессе это же микроизменение версии

Viktor
31.07.2018
12:55:28
Такой еще вопрос к вам При обновлении с 1.1.54378 до 18.01, требуется какая-то магия? Помимо обратно несовместимых изменений, какая-то миграция потребуется?

Wolf
31.07.2018
12:56:43
Нет , версия выглядит по другому просто потому что изменили версионирование , все нынче гонятся за большой цифрой

Yuran
31.07.2018
13:04:43
у меня довольно нубский вопрос. если я буду делать, условно, create table ... engine= ... from select ... CAST(... as enum16(..., \'4.1.2_כוכב_הסלולר_a_9\' = 111, ...)) as ..., from ... , он эти буквицы заморские нормально обработает?
В ClickHouse тип String это просто набор байт, так что да, нормально обработает. Единственное, что сли у вас кодировка не UTF-8, то в JSON формате вы данные обратно не получите в таком же виде.

Denis
31.07.2018
13:11:07
Доброе утро. Как я понял если есть MV над таблицей и по каким то причинам в MV вставка не удается то при вставке батчами эти батчи будут дуплицироваться в основной таблице (тк туда вставка проходит) Получается что использование MV лишает вставку атомарности. Это планируется пофиксить или считается что это нормальное поведение? ЗЫ: Сейчас встал вопрос в добавлении в таблицу искуственного уникального поля для возможности использования ReplacingMergeTree для устранения дубликатов и это порождает много других проблем, начиная с того что данные на диске вырастут на 50% а это терабайты лишние. Как-то нехорошо выходит
на самом деле с insert в таблицу тоже нет атомарности, у меня при заданных max_*_block_size несколько раз вставилось частично, (например 5млн. из 17). Т.е. это бага, только я ее например не могу воспроизвести, так что не надейтесть на атомарность.

Vladimir
31.07.2018
13:14:06
Так 5 млк это уже выше настройки в 1млн если вы ее не меняли конечно

Или меняли до 20млн (раз у вас 17 это норма) и все равно?

Pavel
31.07.2018
13:15:08
Так 5 млк это уже выше настройки в 1млн если вы ее не меняли конечно
хм. то есть кусочками по 512*1024 записей вставлять сравнительно безопасно?

Denis
31.07.2018
13:16:44
Или меняли до 20млн (раз у вас 17 это норма) и все равно?
я упомянул у меня при заданных max_*_block_size max_block_size и max_insert_block_size заданы в кол-во строк вставляемых одним инсерт (скажем 17456774). И такой частичный инсерт происходил при ошибке вставки из-за нехватки памяти. И хуже того max_block_size увеличивает расход памяти.

Vladimir
31.07.2018
13:20:46
Думаю вам стоит тикет тоже завести Все таки это не какая-то функция не работает Это целостность дынных и КМК это важно

Denis
31.07.2018
13:22:33
не воспроизводится это на синтетике. и это биг дата, просрать 12млн из 2 млрд, так и задумано.

Vladimir
31.07.2018
13:24:06
не хотелосьбы

Дмитрий
31.07.2018
13:25:34
всем привет, столкнулся с непрывычным для себя поведением, У меня есть View на мою таблицу, мне нужно было ее немного изменить, и вот тут я заметил что количество строк в новой вьюхе в сотни раз отличается от кол-ва строк в старой. Собственно, понятно что при инсерте строки не обновляют старые ключи, а добавляют просто новые. Такое поведение нельзя изменить? Если нет, то появится ли такое в будущем. Просто у меня изначально запрос во вью был супер быстрым, он показывал статистику. А теперь он отлетает по таймауту.

Alexander
31.07.2018
13:35:22
Слушайте, а зачем в https://github.com/yandex/ClickHouse/pull/2701 разделитель в движе Kafka добавили предпоследним параметром, а не последним? Так же сломана обратная совместимость

Kirill
31.07.2018
13:36:55
Слушайте, а зачем в https://github.com/yandex/ClickHouse/pull/2701 разделитель в движе Kafka добавили предпоследним параметром, а не последним? Так же сломана обратная совместимость
Вот это он зря так, давно хочется все настройки движка в SETTINGS секцию утащить чтоб не мучаться с параметрами

Alexander
31.07.2018
13:38:00
Я как раз думал ещё одинпараметр добавить и смотрю, что там какой-то бардак и получается довольно сложно, надо придумать здавать параметры как-то иначе

Google
Alexander
31.07.2018
13:41:23
Да, так действительно лучше. Но опять же, нужно, видимо, сохранить и старый формат

Kirill
31.07.2018
13:42:02
Да, так действительно лучше. Но опять же, нужно, видимо, сохранить и старый формат
Можно 2-а оставить как с произвольным ключем парттиционирования

Alexander
31.07.2018
13:42:31
CREATE TABLE T () Engine = Kafka('127.0.0.1') SETTINGS a=1, b=2 ...
А не подскажешь пример, где SETTINGS для движка есть?

Alexander
31.07.2018
13:44:11
MergeTree
Ок, спасибо

Denis
31.07.2018
14:03:42
Доброе утро. Как я понял если есть MV над таблицей и по каким то причинам в MV вставка не удается то при вставке батчами эти батчи будут дуплицироваться в основной таблице (тк туда вставка проходит) Получается что использование MV лишает вставку атомарности. Это планируется пофиксить или считается что это нормальное поведение? ЗЫ: Сейчас встал вопрос в добавлении в таблицу искуственного уникального поля для возможности использования ReplacingMergeTree для устранения дубликатов и это порождает много других проблем, начиная с того что данные на диске вырастут на 50% а это терабайты лишние. Как-то нехорошо выходит
>Or maybe inform somehow that main insert was succeed and only MVs >are problematic (not a very good solution, but better than nothing) вообще-то КХ сообщает, например при Code: 252. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Too many parts (300). Merges are processing significantly slower than inserts.: while pushing to view XXX3. для меня это означает что insert успешен в таблицу и в ее вьюхи XXX1 и XXX2, а в XXX3 и XXX4 и XXX5 ничего не вставилось или вставилось частично.

Vladimir
31.07.2018
14:05:12
Это не очень удачно обрабатывается на стороне клиента Предлагаете грепать текст сообщения и по входимости строк решать куда попало и надо ли батч повторять?

Yuran
31.07.2018
14:06:52
Могу лишь присоединиться к нытью про Materialized View и атомарной вставке :). Нас тоже эта проблема касается, хотя лично я наступал только на грабли, что ClickHouse позволяет создать MV с некорректным запросом, который в итоге не может вставиться.

Yuran
31.07.2018
14:08:45
Никто не защищён от того, чтобы потом сломать таблицу, которую популирует MV
Это правда. Я не предлагаю решения, я пока что только говорю о том, какие проблемы есть у меня :).

Атомарность вставки с учётом MV решила бы и эту проблему тоже.

Denis
31.07.2018
14:09:09
Гулять так гулять, я сразу за эпохи голосую как в Вертике, хочу 25 интсертов и делитов в одной транзкации, атомарно, плачу $5000 за эту фичу (канадских just in case).

GithubReleases
31.07.2018
14:09:36
yandex/ClickHouse was tagged: v18.5.1-stable Link: https://github.com/yandex/ClickHouse/releases/tag/v18.5.1-stable Release notes: Auto version update to [18.5.1] [54400]

Yuran
31.07.2018
14:10:39
Делиты в ClickHouse поддерживаются только в виде ALTER, я бы предложил ограничиться только инсертами пока что :).

Kirill
31.07.2018
14:19:42
Гулять так гулять, я сразу за эпохи голосую как в Вертике, хочу 25 интсертов и делитов в одной транзкации, атомарно, плачу $5000 за эту фичу (канадских just in case).
Пока обсуждали транзакции только на вставляемые блоки, т.е. можно записать их, а потом атомарно поменять видимость во всех таблицах, что уже что-то и, в принципе, реализуемо. А вот на то как в Вертике 5к маловато будет, этого просто не хватит на оплату разработчика )

Denis
31.07.2018
14:24:14
я тролю, я прекрасно понимаю что вертика стоит как чугунный мост и туда вложено 500 человек-лет, поэтому КХ догонит сегодняшнюю вертику (по чел-часам) через 50 лет, там и подвезут транзакции, я потерплю, готов терять 12млн. строк каждый день пока.

но вообще вопрос про спонсирование фич интересный, вот например есть range_hashed и почему-то там поддерживается тип date, я например могу попробовать из работодателя выбить некоторую сумму, да даже и сам заплатить баксов 500 за другой тип данный, int64 или/и datetime.

Vladimir
31.07.2018
14:34:31
Как я понимаю эти ребята как раз для этого https://www.altinity.com/blog/

Google
Vladimir
31.07.2018
14:35:22
С глобальным наверное не помогут а так должны

?
31.07.2018
14:39:17
Alexander
31.07.2018
15:05:18
Но воз и ныне там

Kirill
31.07.2018
15:08:38
Alexander
31.07.2018
15:09:03
Сделаешь? :)

Kirill
31.07.2018
15:09:49
Сделаешь? :)
Не обещаю, в свободное время гляну

prll
31.07.2018
15:24:12
какая ОС ?

Артем
31.07.2018
15:25:22
prll
31.07.2018
15:26:21
а если обычным клиентом запрос сделать - все ок будет?

Артем
31.07.2018
15:31:07
а если обычным клиентом запрос сделать - все ок будет?
если под обычным клиентом понимать Tabix или DataGrip то да

какая ОС ?
нашел проблему, испоьзовал ODBC ANSI коннетор, с Clickhouse ODBC Unicode работает

Evgeny
31.07.2018
15:45:01
наткнулся на проблему загрузки CSV файла: less columns then expected. Действительно, кое-где встречаются строки с неполным набором данных для полей загружаемой таблицы. Можно ли как-то заставить clickhouse-client грузить null в недостающие поля?

Anar
31.07.2018
15:55:10
Добрый вечер! Подскажите как реализовать rank() partition by? У меня получилось только так https://hastebin.com/obajexinib.sql #rank

Evgeny
31.07.2018
16:14:28
Добрый вечер Покажите пожалуйста что можно почитать более детально про то как работает prewhere и where. А то у меня было утрированное мнение что в PREWHERE можно пихать всё что напрямую читается с диска, чтобы уменьшить то что потом пойдёт в выборку и дальше будет фильтроваться через WHERE, но столкнулся с тем что перенос условия из PREWHERE в WHERE уменьшает количество прочитанных гигабайт в 6 раз не меняя при этом ни количестов строк ни время запроса. И теперь я чуствую что я делаю что-то неправильно и глупо

Denis
31.07.2018
16:55:10
ну наверное, если запрос читает например 3 поля из таблицы и например нужно отфильтровать по всем 3 полям, может так получится что дешевле прочитать за один проход (с where), а не за два (c prewhere). И в обычных базах данных бывает что фулскан сильно дешевле чем проход по индексу, это нормально.

Denis
31.07.2018
17:20:14
https://clickhouse.yandex/docs/ru/query_language/select/#prewhere и ситуации могут быть разные, например prewhere + final <> where + final https://github.com/yandex/ClickHouse/issues/2386

Старый
31.07.2018
17:47:13
clickhouse.service.consul для экспортёра кто как поднимает?

Google
Старый
31.07.2018
17:49:18
у прометея есть экспортёр для ch, -scrape_uri=http://clickhouse.service.consul:8123/, в результате жалуется на dial tcp: lookup clickhouse.service.consul on 2.1.9.9:53: no such host" file=clickhouse_exporter.go line=310 time="2018-07-31T09:28:27Z" level=info msg="Error scraping clickhouse: Error scraping clickhouse url http://ch.service.consul:8123/?query=select+%2A+from+system.metrics: Error scraping clickhouse:`

кто с таким сталкивался?

prll
31.07.2018
17:53:45
ch.service.consul - это точно имя хоста?

Старый
31.07.2018
17:55:33
ch.service.consul - это точно имя хоста?
это в доке по экспортёру указано, и доступа к хосту у меня нет, процес будет долгим

Anton
31.07.2018
18:07:53
Jubhhh

Старый
31.07.2018
18:11:28
Diomid
31.07.2018
18:12:21
Tima
31.07.2018
21:42:32
Судя по этому https://github.com/yandex/ClickHouse/commit/405d7f9232dbcec534f905e1b08f7ee9095fb33a скоро будет сподвижки по синтаксису JOIN-ов. Есть хоть примерные сроки релиза?

Tima
31.07.2018
21:57:42
А несколько join на одном уровне пока никак? Заранее спасибо

Страница 605 из 723