@kshvakov Мы используем вот это: "github.com/kshvakov/clickhouse"

@kshvakov вы имеет ввиду что нужно в строке соединения указывать SetMaxOpen ? или где то в коде это нужно указывать ?

Ребят, а кто-то сталкивался с <Error> HTTPHandler: Code: 33, e.displayText() = DB::Exception: Cannot read all data, e.what() при селектах?

@kshvakov вот наш разработчик Андрей Php

Можете ему обьяснить про закрытие соедиенний ?

@kshvakov вы имеет ввиду что нужно в строке соединения указывать SetMaxOpen ? или где то в коде это нужно указывать ?

connect, _ := sql.Open("clickhouse", "dsn") connect.SetMaxOpenConns(XXX) connect.SetMaxIdleConns(XXX) connect.SetConnMaxLifetime(XXX)

мы делаем так clickHouseDB, err := sql.Open("clickhouse", connStringClickHouse) if err != nil { log.Fatalln("Clickhouse connection error: ", err) } defer clickHouseDB.Close()

мы делаем так clickHouseDB, err := sql.Open("clickhouse", connStringClickHouse) if err != nil { log.Fatalln("Clickhouse connection error: ", err) } defer clickHouseDB.Close()

OK, defer тут уже не нужен )

Ребят, а кто-то сталкивался с <Error> HTTPHandler: Code: 33, e.displayText() = DB::Exception: Cannot read all data, e.what() при селектах?

смотрите логи кх

смотрите логи кх

ну там помимо этого сообщения есть еще трейс. Но не понятно в чем причина

дальше router.Handle("/rpc", HandleRequest(s, s)) http.Handle("/rpc", router) для всех запросов используется ранее созданное соединение clickHouseDB

ну посмотрите логи ошибок кх

ну посмотрите логи ошибок кх

Это и есть лог ошибки КХ. Вот полный. Тоже самое только с трейсом. https://pastebin.com/xzxtLfgt

дальше router.Handle("/rpc", HandleRequest(s, s)) http.Handle("/rpc", router) для всех запросов используется ранее созданное соединение clickHouseDB

@kshvakov

@kshvakov

Ну да, все норм, только лимит на открытые соединения поставьте

Это и есть лог ошибки КХ. Вот полный. Тоже самое только с трейсом. https://pastebin.com/xzxtLfgt

а что в обычно логе кх ?

@kshvakov зачем лимит, мы же создали всего одно соединение clickHouseDB?

а что в обычно логе кх ?

что значит "обычно"?

обычный лог

у кх же два лога

@kshvakov зачем лимит, мы же создали всего одно соединение clickHouseDB?

Когда у вас начнутся реальные параллельные запросы database/sql начнет открывать кучу соединений (там пул внутри безлимитный)

ок, спасибо

@kshvakov тоесть получается что соединение не закрывается автоматически, оно висит в пуле соединений?

@kshvakov тоесть получается что соединение не закрывается автоматически, оно висит в пуле соединений?

Да, пока не будет сбоя по сети и драйвер не вернет нужную ошибку или пока время жизни не закончилось

Да, пока не будет сбоя по сети и драйвер не вернет нужную ошибку или пока время жизни не закончилось

А почему тогда в случае стратегии балансировки рандом, запросы всегда идут на одну ноду. Если это связано с временем жизни соединения, то сколько это время составляет ?

А почему тогда в случае стратегии балансировки рандом, запросы всегда идут на одну ноду. Если это связано с временем жизни соединения, то сколько это время составляет ?

ну вы открыли соединение и шлете в него , какой тут может быть в рандом в таком промежутке времени, открыли новое соедидение и будет рандом

я так понял что библиотека сама открывает новые соединения и добавляет их в пул

соответственно когда мы увеличиваем нагрузку, должен логически сработать рандом

не, так это не работает

соответственно когда мы увеличиваем нагрузку, должен логически сработать рандом

да, именно так и будет если много параллельных запросов

спасибо

ну так у вас будет овер по записи

ну так у вас будет овер по записи

Почему ?

ну кх не любит много паралельных записей

ну кх не любит много паралельных записей

Там API для получения данных, а не записи. Ну и писать в разные сервера это иногда тоже ОК, главное чтоб мержи успевали

Ну так там же дистрибьютед таблица она сама будет выбирать оттуда читать

Ну так там же дистрибьютед таблица она сама будет выбирать оттуда читать

Она еще некоторую работу делает, чтоб нагрузку равномерно размазать - можно балансировать + сервер может внезапно упасть

У нас в порядке вещей просто взять и выключить сервер

Ну в таком случае ваш драйвер переключиться на другой

Да

Это и сделано было из за лени что-то там менять руками, выключилось и ОК )

Коллеги, добрый вечер. Не подскажите ли по бестпрактис в кликхаусе. Как лучше быть. Иметь две таблицы с разными полями, но связанными по полю id. Или хранить повторяющиеся и частоиспользуемые поля в двух этих таблицах? Как вытаскивать данные из двух таблиц по этому полю id? Только лишь джойном?

Коллеги, добрый вечер. Не подскажите ли по бестпрактис в кликхаусе. Как лучше быть. Иметь две таблицы с разными полями, но связанными по полю id. Или хранить повторяющиеся и частоиспользуемые поля в двух этих таблицах? Как вытаскивать данные из двух таблиц по этому полю id? Только лишь джойном?

вообще словари есть на этот случай

объединить в одну по id)

объединить в одну по id)

т.е. делать джойны по 1млрд уникальных значений это как то не очень?)

т.е. делать джойны по 1млрд уникальных значений это как то не очень?)

правая таблица при джойне закидывается в память, памяти для миллиарда надо много.

Интересно, делаю insert из tsv 0 (нолик) в поле float64 select toString(поле) на одном сервере(шарде) 0.000004609679999999999 0.000005235000000000001 0.00000358902 0.000005035 0.00000234768 0.00000410709 0.000007095 0.0000050462800000000014 0.0000030190000000000002 почему значения разные?

Друзья а файл для ch лучшие пере

Дать utf8 unicode

Интересно, делаю insert из tsv 0 (нолик) в поле float64 select toString(поле) на одном сервере(шарде) 0.000004609679999999999 0.000005235000000000001 0.00000358902 0.000005035 0.00000234768 0.00000410709 0.000007095 0.0000050462800000000014 0.0000030190000000000002 почему значения разные?

это же флоаты

нет, не воспроизодится, косяк видимо не в КХ или все сложнее, упс, разобрался, это были не нули.

https://github.com/yandex/ClickHouse/issues/3360 что то еще нужно добавить?

Можете ещё добавить конфигурацию словаря и CREATE TABLE таблицы в Postgres?

Дать utf8 unicode

Да. Хотя на самом деле можно хранить и загружать в ClickHouse данные в любой кодировке. https://clickhouse.yandex/docs/ru/data_types/string/

Друзья, нас становится все больше! Растёт экспертиза, но растёт и количество запросов. Становится все больше вопросов и ответы тонут в потоке вопросов. Посему если вы нашли ответ, пришлите пожалуйста ваш вопрос и решение мне на почту. Я его добавлено в общий сток вопросов и ответов. Clickhouse.my1.ru После попадания в бэклог, я буду создавать ишью на гитхабе в статью Faq и ждать валидации конирибтютера. Если есть еще идеи, давайте обсуждать! Спасибо

Идея хорошая, но... 1) твой аватар и имя пользователя не внушают доверия. 2) где почта? Из отстраненных вопросов: добавление происходит 'ручками'?

Друзья, нас становится все больше! Растёт экспертиза, но растёт и количество запросов. Становится все больше вопросов и ответы тонут в потоке вопросов. Посему если вы нашли ответ, пришлите пожалуйста ваш вопрос и решение мне на почту. Я его добавлено в общий сток вопросов и ответов. Clickhouse.my1.ru После попадания в бэклог, я буду создавать ишью на гитхабе в статью Faq и ждать валидации конирибтютера. Если есть еще идеи, давайте обсуждать! Спасибо

круто, но сразу вылезает реклама на сайте

Друзья, нас становится все больше! Растёт экспертиза, но растёт и количество запросов. Становится все больше вопросов и ответы тонут в потоке вопросов. Посему если вы нашли ответ, пришлите пожалуйста ваш вопрос и решение мне на почту. Я его добавлено в общий сток вопросов и ответов. Clickhouse.my1.ru После попадания в бэклог, я буду создавать ишью на гитхабе в статью Faq и ждать валидации конирибтютера. Если есть еще идеи, давайте обсуждать! Спасибо

Спс.

Реклама это беспланый хостинг Да, добавление руками, Я добавлю формы ввода Просто я вижу сайт как точку сбора вопросов и сырых ответов, чтобы контрибьюторам было проще. Основной ресурс это должен быть Faq на гитхабе

купите хостинг и домен что ли приличия ради

купите хостинг и домен что ли приличия ради

А смысл? Если человек не преследует коммерческой цели. Для меня например все равно на каком домене будет висеть сайт который решит мои вопросы. Не говорите ерунды...

мы все таки уже не дети и у меня все проекты кроме одного не преследуют коммерческих целей и сидят на хорошем хостинге и купленном домене. качество реализации не должно зависеть от коммерциализации.

А если так уж неймется - завести в том ЖЖ блог..

Какие вы все душные. У человека возможно нет навыков программирования/настройки хостингов и пр. Импульсивно было принято решение сделать такой ресурс. Вас никто не заставляет им пользоваться и писать туда что-то, если вас не устраивает бесплатный домен, реклама и пр. Помогите сделать лучше или дайте в личку ссылки на хороший хостинг и пр.

доброго времени года

у менЯ возникла проблема, псоздал таблицу и при добавлении там висят от силы три строки, и не пополняются, в логахъ есть записи об обнаружжении старых хзаписей.. что я делаю не так?

CREATE TABLE IF NOT EXISTS cpe_devices ( event_date Date DEFAULT toDate(event_time), event_time DateTime, serial UInt64, model String, firmware String, version String, ip_addr String, basename String, script_version String, type String ) ENGINE = SummingMergeTree(event_date, (serial, model, event_time, event_date), 8192)

выбрал не тот движок?

Summing? может просто MergeTree? я не спец но может поможет.

я вот тоже не спец..попробую прямо сейчас. просто подобные данные уже пишутся и движок такойже

пробую stringMergeTree

Какие вы все душные. У человека возможно нет навыков программирования/настройки хостингов и пр. Импульсивно было принято решение сделать такой ресурс. Вас никто не заставляет им пользоваться и писать туда что-то, если вас не устраивает бесплатный домен, реклама и пр. Помогите сделать лучше или дайте в личку ссылки на хороший хостинг и пр.

Создать репу на гитхабе с факю в маркдауне? Бесплатный хостинг попробовал подписать меня на какую-то подписку

Самым правильным вариантом будет не гадать, а прочитать в документации различия между движками

я прочитал, еще не до конца понимаю некоторые моменты

когад читал) сдлелал первую таблицу и оно работает уже полгода, хорошо работает, задачу выполняет. но тут по тому же принцыпу сделал еще две, но одна не заполняется - ума не приложу в чем отличия. просто логически ен понимаю

ыот, посмотрите пожалуйста? : SHOW CREATE TABLE CREATE TABLE default.cpe_abonents ( event_date Date DEFAULT toDate(event_time), event_time DateTime, mac UInt64, rssi Int8, radioname String, basemac UInt64, type String, ip_addr String, model String, sn String, uptime String ) ENGINE = SummingMergeTree( event_date, (mac, radioname, event_time, event_date), 8192 )

это работает.

это тоже: SHOW CREATE TABLE CREATE TABLE default.cpe_interfaces ( event_date Date DEFAULT toDate(event_time), event_time DateTime, mac UInt64, device_id UInt64, name String, band String, mode String, protocol String, frequency String, clients UInt16, ssid String, password String, type String ) ENGINE = SummingMergeTree( event_date, (mac, device_id, event_time, event_date), 8192 )

почему та не работает как должно?

When merging, all rows with the same primary key value (in the example, OrderId, EventDate, BannerID, ...) have their values totaled in numeric columns that are not part of the primary key.

Если вы используете этот движок, значит вы хотите сложить некие, скажем, счетчики

Т.е. как бы строки с одинаковым пкеем будут сгруппированы, а для "счетчиков" вызван sum

Если вы используете этот движок, значит вы хотите сложить некие, скажем, счетчики

я делал по руководству, так сказать, попробовать, однако складывать не планировал, нужна постоянная статистика не более, что порекомендуете?

Судя по всему - MergeeTree

спасибо, а есть мысли, почему 2 из 3 таблицы корректно пишутся и пополняются, а одна, созданная подобным образом, не пополнятесЯ выше 4 значений, иногда и в ноль очищается?

For the other columns that are not part of the primary key, the first value that occurs is selected when merging.

Возможно, пишите одинаковые значения? Почитайте все же документацию еще разок :)

читал же:) обязательно перечитаю, я для ключа выбрал те значения, которые будут уникальны. в проблемной таблице - это серийный номер и айпи. в случае абонентов, там мак адрес устройства и имя радио...не улавливаю просто логику, это же вычисляения)) они либо работают либо нет))) и должны быть отличия...

Ну вот выше выдержка из документации.

Для остальных столбцов, не входящих в первичный ключ, при слиянии выбирается первое попавшееся значение

Оно же на русском

буду внимательнее выбирать движок, хотя почему оно не ведет себя также с первой таблицой, которой несколько месяцев, очень интересно))

спсибо за помощь, вроде теперь полнятся данные