а кто-нибудь правил библиотеку для ноды?

а то в последний раз она делала мне больно когда я ей пользовался

Обновил FreeBSD c 10.3 до 11.1, пересобрал весь софт, КХ 1.1.54318 вроде успешно скомпилировался из портов, запускаю демона, рапортует что демон стартанул, запускаю clickhouse-client -m, пишет Connecting to localhost:9000. Code: 32. DB::Exception: Attempt to read after eof Смотрел логи, там пусто. Подозреваю что демон валится. Подскажите может есть какое решение?

combot.org/chat/-1001080295593

Обновил FreeBSD c 10.3 до 11.1, пересобрал весь софт, КХ 1.1.54318 вроде успешно скомпилировался из портов, запускаю демона, рапортует что демон стартанул, запускаю clickhouse-client -m, пишет Connecting to localhost:9000. Code: 32. DB::Exception: Attempt to read after eof Смотрел логи, там пусто. Подозреваю что демон валится. Подскажите может есть какое решение?

Стабильный кх - 27ой. Там какую то багу с репликациец починили, мб это оно?

Стабильный кх - 27ой. Там какую то багу с репликациец починили, мб это оно?

То есть лучше компилить из сырцов?

а что, у кх есть репозитории для фряхи?

То есть лучше компилить из сырцов?

Я не знаю, у меня не фряха. Я просто вспомнил что это не последний стейбл

а что, у кх есть репозитории для фряхи?

https://www.freshports.org/databases/clickhouse/

есть порт и он довольно часто обновляется

хотя он неофициальный =/ может, с портом есть какие-то проблемы, не знаю

единственное непонимаю, почему жесткая зависимость от libmysqlclient.so.18 : databases/mysql56-client

сейчас многие на mariadb сидят и в некоторых дистрибах линукса машка стоит по умолчанию

хм, замечал машу в redhat-семейке, да если у вас получиться собрать его с машей, то ваш подвиг не будет забыт просто, возможно, что в яндексе действительно могут об этом не знать, поскольку они не работают с такими дистрами

а то в последний раз она делала мне больно когда я ей пользовался

Уточните что за библиотека?

Для FreeBSD долгое время (примерно до последних версий) была ситуация, что ClickHouse собирался, но не работал (как раз - падал при первой аллокации достаточно большого размера). Причина в том, что тестирования под FreeBSD у нас до сих пор нет. Можно брать самое свежее из портов. А если будут проблемы - пишите сюда с упоминанием @proller.

единственное непонимаю, почему жесткая зависимость от libmysqlclient.so.18 : databases/mysql56-client

Можно использовать mariadbclient вместо mysqlclient. У нас в трекере есть таск - использовать mariadbclient для официальных билдов. Почему жёсткая зависимость - не знаю.

Там префиксы функций между версиями отличались

Проверяли - с mariadbclient собирается.

Подскажте, есть ли тип данных в Clickhouse аналог decimal/numeric из Postgres? нужно хранить большие числа порядка 10^25

Если их считать не нужно, то можно в виде строки. Можно hex, если нужно компактно и сортируемо. Если еще компактнее, то можно сделать не стандартный сортируемый вариант base64

Подскажте, есть ли тип данных в Clickhouse аналог decimal/numeric из Postgres? нужно хранить большие числа порядка 10^25

Нет. Это один из частых фич реквестов, придётся делать. На всякий случай интересно - для какой задачи у вас это нужно?

Нет. Это один из частых фич реквестов, придётся делать. На всякий случай интересно - для какой задачи у вас это нужно?

для импорта данных из блокчейнов, и дальнейшего анализа. Конкретно в ethereum используются целые числа от 1 до 10^26

Тогда FixedString(N) с бинарными данными. Хорошо подходит для значений всяких хэшей - где не нужна арифметика типа сложения, умножения, avg и т. п.

Как раз таки скорее всего арифметика пригодится. Можно было бы их грузить в какой-то скрипт и дальше уже их складывать, но не хотелось бы мудрить самому

На freebsd прекрасно собирается и работает из портов

Для FreeBSD долгое время (примерно до последних версий) была ситуация, что ClickHouse собирался, но не работал (как раз - падал при первой аллокации достаточно большого размера). Причина в том, что тестирования под FreeBSD у нас до сих пор нет. Можно брать самое свежее из портов. А если будут проблемы - пишите сюда с упоминанием @proller.

Так я и взял свежий из портов, из-за КХ обновил фрю до 11.1, он собрался, но демон тихо падает и я не могу даже базу создать((

может надо сконфигурировать перед запуском как-то хитро?

единственное непонимаю, почему жесткая зависимость от libmysqlclient.so.18 : databases/mysql56-client

потому что USES=mysql и порты сами выбирают какой клиент использовать

я пытался из пакаджей поставить, но там тянется mysql-client 5.6, который конфликтует с mariadb-client

/etc/make.conf: WITH_MYSQL_VER=102m

и никаких пакажей конечно

DEFAULT_VERSIONS+=mysql=10.1m

или лучше до 10.2 обновить машку?

@prll что может означать: # clickhouse-client ClickHouse client version 1.1.54318. Connecting to localhost:9000. Code: 32. DB::Exception: Attempt to read after eof

# service clickhouse start Starting clickhouse. # service clickhouse status clickhouse is not running.

ааа, php-fpm сидит на 9000 порту... поменял порт на 9001 # service clickhouse status clickhouse is running as pid 26919.

ага, и в логе кликхаус написал что не смог слушать

сервер теперь работает и не валится, а клиент стучится на порт 9000: # clickhouse-client -m ClickHouse client version 1.1.54318. Connecting to localhost:9000. Code: 32. DB::Exception: Attempt to read after eof

в конфиге нельзя порт для клиента указать?

--port 9001 или в конфиге clickhouse-client.xml

@prll а какой параметр в clickhouse-client.xml? я не вижу там порта

<tcp_port>9000</tcp_port>

Доброго утра всем, а если создавать таблицу с кастомным партицированием и индексом типа PARTITION BY (user_id, date) ORDER BY (intHash32(user_id), date, created_at) - то гарантирует ли это нам сортировку по дате, если мы просто вытаскиваем список? Типа SELECT * FROM TABLE WHERE user_id=666 LIMIT 100; , где created_at это DateTime

Доброго утра всем, а если создавать таблицу с кастомным партицированием и индексом типа PARTITION BY (user_id, date) ORDER BY (intHash32(user_id), date, created_at) - то гарантирует ли это нам сортировку по дате, если мы просто вытаскиваем список? Типа SELECT * FROM TABLE WHERE user_id=666 LIMIT 100; , где created_at это DateTime

Нет, не гарантирует

Доброго утра всем, а если создавать таблицу с кастомным партицированием и индексом типа PARTITION BY (user_id, date) ORDER BY (intHash32(user_id), date, created_at) - то гарантирует ли это нам сортировку по дате, если мы просто вытаскиваем список? Типа SELECT * FROM TABLE WHERE user_id=666 LIMIT 100; , где created_at это DateTime

Нет, не гарантируется. Используйте ORDER BY

ORDER BY миллионы не сортирует :( не говоря уже про биллионы.

Уточните задачу, в общем случае нет нужды сортировать миллионы и биллионы

хочу вытащить последнюю тысячу записей из биллионой таблицы. Фильтрую за день и по юзеру - там получается 80 миллионов за день записей на одного юзера - но тут тоже сортировка не выгребает, чтобы можно было вытащить только последнюю тысячу. Хотелось бы данные складывать сразу в упорядочном виде в идеале

для этого у тебя должен быть индекс в индексе данные уже отсортированы

так индекс и есть в ORDER BY

(intHash32(user_id), date, created_at)

ну сортировка будет идти не в момент поиска а в момент вставки или обновления

хочу вытащить последнюю тысячу записей из биллионой таблицы. Фильтрую за день и по юзеру - там получается 80 миллионов за день записей на одного юзера - но тут тоже сортировка не выгребает, чтобы можно было вытащить только последнюю тысячу. Хотелось бы данные складывать сразу в упорядочном виде в идеале

Уточните, что значит не выгребает? Ошибка или что?

Уточните, что значит не выгребает? Ошибка или что?

Идет запрос несколько минут, хотя надо вытащить всего лишь последнюю тысячу.

Доброго утра всем, а если создавать таблицу с кастомным партицированием и индексом типа PARTITION BY (user_id, date) ORDER BY (intHash32(user_id), date, created_at) - то гарантирует ли это нам сортировку по дате, если мы просто вытаскиваем список? Типа SELECT * FROM TABLE WHERE user_id=666 LIMIT 100; , где created_at это DateTime

Попробуйте пересоздать таблицу, чтобы дата, по которой фильтруете, была в PARTITION и ORDER BY на первом месте

И укажите полный пример запроса

Ребята, привет. Уже писал сюда вопрос, но так и не получается решить проблему с бОльшей суммой в ReplicatedSummingMergeTree при вставке данных через distributed таблицу. Параметр internal_replication выставлен в true. Два шарда по две реплики. В system.clusters видно shard_num, replica_num 1, 1 1, 2 2, 1 2, 2 host_name для всех серверов разный. Почему при вставке через distributed данных получается больше? Разница где-то 4-15% если смотреть по датам.

Ребят, а можно на как-то на КХ переписать условие из MySQL: WHERE grp_date >= DATE_FORMAT(NOW(),'%Y-%m-01') - INTERVAL 1 YEAR или придется средствами PHP вычислять?

разобрался: toStartOfMonth(today()) - toIntervalYear(1)

удивительно, но писать запросы на выборку в КХ гораздо проще и приятнее чем в mysql))

mysql вообще недоразумение, простите.

mysql вообще недоразумение, простите.

Только на этом недоразумении работает половина сервисов, сайтов и систем в интернете :) К сожалению...

ну, на oracle exadata почему-то не у всех есть деньги :)

Просто смысл обычному форуму oracle exadata? mysql хватает с головой. Или например сервису-генератору гифок? )

mysql вообще недоразумение, простите.

Это вы с ораклом не работали, вот там адъ

1994 года только с ораклом. там есть конечно таракашки. но они более-менее честные. а так да, Серберянной пули нет

Я бы разработчиков оракла сажал в единый Котел с Java разработчиками (разработчиками не под данные технологии, а те кто платформу делают)

/stat@combot

combot.org/chat/-1001080295593

Подскажите плз. где можно настроить расписание оптимизаций таблиц с движком GraphiteMergeTree? А то создал табличку, сделал партиционирование по дням настроил роллап 86400 - 3600 и ожидаю что спустя день данные будут паковаться... но нет, пока вручную оптимизацию партиции не запустишь все хранится с исходным "разрешением"

есть мнение что настроить это можно в кроне

ну это то да, была мысль что может где то зарыто в конфигах, т.к. в логах периодически мердж активных партиций наблюдается

т.е. если такое поведение (выбери движок, партиционирование, настройки мерджа в самом КХ, а сам запуск оптимизации через крон) оно by design - то ОК как бы, просто как то этот последний момент в документации упущен.

Прочитал в гуглогруппе: Because a single INSERT creates a new part (each part corresponds to a single data directory), it is better to do INSERTs in big batches. Anyway, normally there shouldn't be that many directories because when the number of parts per partition (per month) reaches 150, the server starts throttling INSERTs, and when it reaches 300, the server forbids INSERTs.

Чем это может грозить если я делаю single inserts в mergetree?

Начнет мерджить и встанет колом

Чем это может грозить если я делаю single inserts в mergetree?

Будет ооооочень медленно

а что делать если нет возможности batch insert делать?

а что делать если нет возможности batch insert делать?

Buffer tables?

а что делать если нет возможности batch insert делать?

Можно попробовать buffer engine

а что делать если нет возможности batch insert делать?

Искать такую возможность

товарищи, подскажите а запрос optimize final реплицируется?

/stat@combot

combot.org/chat/-1001080295593

Искать такую возможность

у меня nginx перед отдачей файла запускает php скрипт, который в КХ делает инсерт, а потом передает заголовок на отдачу файла, графики по закачкам надо отображать в реальном времени. не сказать что у нас прямо биллионы записей, в сутки от 100-1000 инсертов, за 2 года ~7kk строк, их загрузили вчера через CSV, а вот новые пока через single insert.

почитал сейчас доку про buffer engine, похоже это выход из положения, репликации у нас нет поэтому сайд эффектов не должно возникнуть?

Если использовать OPTIMIZE он не спасет меня?

Если у вас так мало инсертов, не стреляете ли вы из пушки по воробьям? 100-1000 инсертов в сутки нормально для любого mysql/postgresql.