@clickhouse_ru

Страница 518 из 723
Stanislav
04.05.2018
14:43:23
разные таймзоны на сервере и клиенте

Сталкивался, правда не из питона, а из телеграфа

припоминаю, что в свежих версиях можно указывать таймзону, но у меня версия старовата и проверить не могу.

Sergei
04.05.2018
14:46:30
use_client_time_zone поидее должно ведь помочь ?

Google
Dmitry
04.05.2018
15:57:14
подскажите, сервис кх падает сразу после старта с (code=exited, status=232/ADDRESS_FAMILIES) . В users.xml заменил все <ip>::/0</ip> на <ip>0.0.0.0/0</ip> и все равно падает

Ph
04.05.2018
16:18:28
подскажите, есть int64 в нем timestamp с точностью до миллисекунд, надо экспортить в CSV, как сконвертить timestamp в ISO 8601 с точностью до миллисекунды?

Ph
04.05.2018
16:29:16
ок спс))

s3rj1k
04.05.2018
20:30:33
ребят, вопрос не по теме, слышал что Яндекс балуется с ClickHouse в porto, есть какой то чатик про porto или можно кого то попинать, есть пару вопросов

s3rj1k
04.05.2018
20:33:29
LeiDruid
04.05.2018
20:33:36
Это методологический подход к архитектуре

емнип

Михаил
04.05.2018
20:34:01
s3rj1k
04.05.2018
20:34:49
Благодарю
но все же вопрос остался)) кто то в курсе кого можно хайлайтнуть?

LeiDruid
04.05.2018
20:35:38
Уж больно похоже на lxc/lxd

Google
LeiDruid
04.05.2018
20:35:44
Лисапед ?

Georgiy
04.05.2018
20:36:00
lxc еще тот лисапед

s3rj1k
04.05.2018
20:36:22
LeiDruid
04.05.2018
20:36:28
У нас lxd неплохо себя в проде чувствует

Атата
04.05.2018
20:36:46
LeiDruid
04.05.2018
20:36:59
судя по описанию, proto такой же лисапед

В чём профиты?
смотря с чем сравнивать

s3rj1k
04.05.2018
20:37:13
Уж больно похоже на lxc/lxd
ну и да и нет, такое ощущение что больше заточено для докероподобных нагрузок

Georgiy
04.05.2018
20:37:28
У нас lxd неплохо себя в проде чувствует
чувствуют себя в проде неплохо и фряшные джейлы вопрос насколько контейнеризация себя эффективно показывает

Атата
04.05.2018
20:37:37
смотря с чем сравнивать
Докер, например. Или я совсем мимо?

Georgiy
04.05.2018
20:38:22
lxc пока что самое дно из всех существующих контейнеризаций хотя порто не трогал

LeiDruid
04.05.2018
20:38:30
Фряшные джейлы не умеют oracle java в первую очередь, ну и до кучи ещё много чего. Корректней рассматривать linux-окружение

LeiDruid
04.05.2018
20:39:10
Докер, например. Или я совсем мимо?
немного мимо, технология там плюс-минус одна, но уровень контейнеризации разный

s3rj1k
04.05.2018
20:39:12
У нас lxd неплохо себя в проде чувствует
почему не lxc? объем багов lxd пугает, issue с гитхаба

LeiDruid
04.05.2018
20:39:57
почему не lxc? объем багов lxd пугает, issue с гитхаба
issue - не показатель. lxd оказался удобней в обращении

Georgiy
04.05.2018
20:40:27
системных то всего 3 )
в каком смысле "системных" ?

Andrew
04.05.2018
20:40:28
почему не lxc? объем багов lxd пугает, issue с гитхаба
lxd это "надстройка над lxc" которая делает lxc еще мощнее

LeiDruid
04.05.2018
20:40:31
что вам дает oracle java ?
требуется софту, на openjdk не запускается

Google
s3rj1k
04.05.2018
20:41:10
issue - не показатель. lxd оказался удобней в обращении
ну я бы не сказал что не показатель, когда у тебя сторедж пул на проде после обновления отвалился, это как то стремно

Georgiy
04.05.2018
20:41:23
требуется софту, на openjdk не запускается
а ну древняя версия jvm вполне может быть сейчас с точки зрения среды запуска они идентичные

Georgiy
04.05.2018
20:41:44
s3rj1k
04.05.2018
20:41:48
в каком смысле "системных" ?
не приложение а init которые, не как докер

Andrew
04.05.2018
20:41:51
ну я бы не сказал что не показатель, когда у тебя сторедж пул на проде после обновления отвалился, это как то стремно
во первых есть разные сторейджы во вторых есть тесты в третьих всмысле отвалился? migrate не вызвали? или что?

Атата
04.05.2018
20:42:03
Сраач

Georgiy
04.05.2018
20:42:22
Andrew
04.05.2018
20:43:11
не определялся как существующий, zfs
мб всеже при обновлении забыли сделать migrate? и стоит разбираться с пулом что там пошло не так при откате должно было все вернуться

LeiDruid
04.05.2018
20:43:13
пробывали хоть ?
<sarcasm> Да не, так, просто пальцы чешу </sarcasm>

Andrew
04.05.2018
20:43:58
У нас lxd неплохо себя в проде чувствует
у нас тоже lxd в проде неплохо летает)

LeiDruid
04.05.2018
20:45:13
я только процитировал пачку ишью у людей)
не исключено, что может быть. Я обычно сначала мигрирую контейнеры с ноды, потом обновляю, так, соломки стелю

s3rj1k
04.05.2018
20:46:38
openvz
тот который 7й?)

LeiDruid
04.05.2018
20:47:09
openvz
сомнительно как-то

Georgiy
04.05.2018
20:47:14
тот который 7й?)
да я не видел пока версий чтобы не уделывало lxc 7 в том числе

сомнительно как-то
ничего сомнительного те фишки что есть в openvz очень как-то долго идут до lxc

Google
s3rj1k
04.05.2018
20:47:55
s3rj1k
04.05.2018
20:48:22
ничего сомнительного те фишки что есть в openvz очень как-то долго идут до lxc
там уже впринципе все есть, реализации правда другие

Georgiy
04.05.2018
20:48:47
приведете пример ?
попробуйте ограничить контейнер по памяти, и запустить ресурсоемкое приложение, которое ее сьест в lxc

на тротлинг по памяти уйдет пол машины

Georgiy
04.05.2018
20:49:19
без всего

s3rj1k
04.05.2018
20:49:38
без всего
как можно то, смысл то какой тогда

Georgiy
04.05.2018
20:49:45
второе, без всяких lxcfs поддерживает неймспейсинг RAM, CPU, SWAP

Georgiy
04.05.2018
20:50:22
что делаете ? по памяти пытаетесь выйти за пределы ?

s3rj1k
04.05.2018
20:50:27
второе, без всяких lxcfs поддерживает неймспейсинг RAM, CPU, SWAP
ну так там патчи на ядро для этого, не особо аргумент

Georgiy
04.05.2018
20:50:49
LeiDruid
04.05.2018
20:51:15
Georgiy
04.05.2018
20:51:23
lxc работает на том функционале что есть в ядре соответственно его верхнее ограничение - ванильные сигруппы и неймспейсы

s3rj1k
04.05.2018
20:51:58
lxcfs на ванилу, вопрос в функциональности решен, в красоте конешно не очень, согласен, fuse попахивает

LeiDruid
04.05.2018
20:52:12
Зато openvz + zfs - какое-то адское шаманство с бубнами

Georgiy
04.05.2018
20:52:39
в lxc докер пробывали запускать?)

LeiDruid
04.05.2018
20:52:53
Google
s3rj1k
04.05.2018
20:52:59
в lxc докер пробывали запускать?)
в новых ядрах работать должно

LeiDruid
04.05.2018
20:53:13
не могу сказать, насколько хорошо по отношению к чему-то ещё, но работает

Нужно потыкать nested - и вперед

s3rj1k
04.05.2018
20:53:33
ну так там патчи на ядро для этого, не особо аргумент
в порто с этим кстати все печально, видно proc хост ноды

собственно это и был один из вопросов)

Denis
04.05.2018
21:10:58
А какой смысл ограничивать ресурсы контейнеру КХ? Типа запустить на тачке КХ и еще что-то?

LeiDruid
04.05.2018
21:11:19
да

Denis
04.05.2018
21:12:14
изолировать нескольно инстансов к примеру
типа два КХ на одной железке? Нафига?

LeiDruid
04.05.2018
21:12:58
смотря что за железка, вполне может быть, что ресурсов оказывается достаточно

s3rj1k
04.05.2018
21:13:00
типа два КХ на одной железке? Нафига?
если железяка мощная и ресурсы простаивают, почему нет?

Denis
04.05.2018
21:14:48
видимо у нас совсем разные патерны, это как-то вне моего понимания, типа у меня в кластере 60 тачек с КХ и там ресурсы простаивают? Зачем тогда я 60 тачек сделал? Можно было 40 запустить.

Georgiy
04.05.2018
21:21:36
прикинь себе кейс - 2 проекта с небольшими инстансами КХ

для примера

Timur
04.05.2018
21:25:54
Всем привет. Помогите, пожалуста. Имеются таблицы вида: CREATE TABLE data.user_contacts ( date UInt32, user_id UInt32, site_id UInt32, timespan_start UInt32, timespan_end UInt32, timestamp_start DateTime, timestamp_end DateTime, date_day Date MATERIALIZED toDate(concat(substring(toString(date), 1, 4), '-', substring(toString(date), 5, 2), '-', substring(toString(date), 7, 2)))) ENGINE = MergeTree PARTITION BY (date_day, site_id) ORDER BY (date_day, site_id, timespan_start, timespan_end) SETTINGS index_granularity = 8192 CREATE TABLE data.events ( event_id String, site_id UInt32, date UInt32, timestamp_start DateTime, timestamp_end DateTime, quantity UInt32, total_event_id_duration UInt32, event_duration Int32 MATERIALIZED timestamp_end - timestamp_start, date_day Date MATERIALIZED toDate(concat(substring(toString(date), 1, 4), '-', substring(toString(date), 5, 2), '-', substring(toString(date), 7, 2)))) ENGINE = MergeTree PARTITION BY date_day ORDER BY (date_day, site_id, timestamp_start, timestamp_end, event_id) SETTINGS index_granularity = 8192 И запрос: SELECT event_id, user_id, date_day, event_duration, least( timestamp_end, timestamp_end_event )- greatest( timestamp_start, timestamp_start_event ) AS intersected_duration, total_event_id_duration FROM data.user_contacts ALL INNER JOIN( SELECT events.event_id, events.site_id, events.date_day, events.quantity, events.timestamp_start AS timestamp_start_event, events.timestamp_end AS timestamp_end_event, event_duration, total_event_id_duration FROM data.events ) events USING( date_day, site_id ) WHERE date_day BETWEEN '2017-01-01' AND '2017-01-31' AND timestamp_start < timestamp_end_event AND timestamp_start_event < timestamp_end Проблема заключается в большом потреблении оперативной памяти Для справки: 1) ClickHouse server version 1.1.54380. 2) Данных в таблице data.user_contacts намного больше, чем информации в data.events 3) Индексы по непонятной причине используются только для ограничения data.user_contacts по датам и не участвуют в join 4) Пробовал создавать и такой индекс: (date_day, site_id) - результат не отличается от п.3 Подскажите, пожалуйста, как максимально эффективно соединить 2 таблицы по пересекающимся временным интервалам?
Мускуль легко масштабируется на чтение. Добавьте n слейвов

Denis
04.05.2018
21:41:44
Мускуль легко масштабируется на чтение. Добавьте n слейвов
там вопрос был про КХ, там вообще не было mysql.

Timur
04.05.2018
21:58:15
Промахнулся... Был вопрос про словари и количество коннектора к mysql

Страница 518 из 723