@clickhouse_ru
Боб26.01.2017
13:08:00
13:08:00
интереснее другое: сейчас есть какая-то модная штука под названием черепичная запись, которая абсолютно непригодна для инплейс апдейта, но годится для заливки бекапа
у меня в домашнем сервере два таких стоят по 8Тб. Вот мучаюсь с тем что это брак или недостатки черепичной записи когда iops порядка 2-3 и задержки по несколько секунд.
И если особенности черепички, то не поменять ли их на нормальные диски той же емкости. Ценник сейчас уже не особо отличается.
Darafei26.01.2017
13:09:25
13:09:25
это особенности черепичной записи
Maksim26.01.2017
13:09:57
13:09:57
совершенно точно черепичная запись требует очень специальной работы со стороны софта
Darafei26.01.2017
13:10:13
13:10:13
совершенно точно черепичная запись требует очень специальной работы со стороны софта
не в любом исполненииGoogleMaksim26.01.2017
13:10:18
13:10:18
проще всего софту работать с таким диском как append only / full delete устройством
ну а как нет? Через физику не перепрыгнешь ведь. Даже если контроллер помогает, то всё равно будет делать несколько операций записи вместо одной?
Darafei26.01.2017
13:11:05
13:11:05
нечерепичных по 8тб не бывает, но там внутри умеют городить странные штуки, которые делают подобия ремаппингов секторов / нечерепичные регионы для быстрой записи
у нас стоит один такой винт в bcache за ssd, на большинстве юзкейсов работает ssd, но размеры от большого винчестера :)
Боб26.01.2017
13:12:06
13:12:06
т.е. технологии SSD пришли в крутящиеся диски :)
Darafei26.01.2017
13:13:15
13:13:15
в bcache уже неважно, сколько оно будет сбрасываться потом из ssd в винчестер, быстрые правки ssd самортизирует
ну а как нет? Через физику не перепрыгнешь ведь. Даже если контроллер помогает, то всё равно будет делать несколько операций записи вместо одной?
он прочтёт длинный сектор, будет держать и править его в кеше, когда из кеша вытеснится - сотрёт на блине и запишетMaksim26.01.2017
13:14:29
13:14:29
ой, а это вообще нормально? Это разве не десктопный подход?
Darafei26.01.2017
13:15:13
13:15:13
что такое "десктопный подход" в этом контексте? :)
десктопность-серверность такого решения зависит от размера конденсатора на памяти :)
Maksim26.01.2017
13:16:36
13:16:36
ну вот я об этом, да
Darafei26.01.2017
13:17:26
13:17:26
черепичная запись - это скорее быстрая лента, а не медленный винчестер, при проектировании :)
GoogleMaksim26.01.2017
13:18:00
13:18:00
я имею ввиду, что десктопность таких идей зачастую выражается в том, что скорость работы харда меряется не на 24-х часовой записи, а на записи 5 килобайт, которые ложатся в ram cache =)
зато красивая цифра
Darafei26.01.2017
13:18:39
13:18:39
он везде маркируется как холодный носитель
Maksim26.01.2017
13:18:57
13:18:57
ок
я тут не разбираюсь, просто что-то такое слышал. А 8 ТБ правда все-все только черепичные?
nikoinlove26.01.2017
13:19:23
13:19:23
у нас стоит один такой винт в bcache за ssd, на большинстве юзкейсов работает ssd, но размеры от большого винчестера :)
а у вас нет проблем что бкеш внезапно перестает писать на ссд и начинает писать на диск и все ооочень тормозит?)Darafei26.01.2017
13:20:00
13:20:00
а у вас нет проблем что бкеш внезапно перестает писать на ссд и начинает писать на диск и все ооочень тормозит?)
в смысле "внезапно", это же штатное документированное поведение :)Darafei26.01.2017
13:22:58
13:22:58
у него есть минимум два варианта, когда он так делает
когда десктопный ssd начинает проседать (congested), и когда ты последовательно пишешь больше N мегабайт
nikoinlove26.01.2017
13:24:24
13:24:24
нет, ничего из этого у меня не происходит..
nikoinlove26.01.2017
13:24:52
13:24:52
на графиках нагрузках на ссд и хдд меняются местами:)
Darafei26.01.2017
13:25:16
13:25:16
а bcache-status что говорит? :)
nikoinlove26.01.2017
13:25:50
13:25:50
я полагаю это когда writeback_percent достигается происходит. а что он может говорить?)
Darafei26.01.2017
13:26:16
13:26:16
Congested? True, например
nikoinlove26.01.2017
13:26:31
13:26:31
ну я по этому и определил что не происходит. конгестед всегда 0
Darafei26.01.2017
13:26:50
13:26:50
Evictable Cache 0.00GiB (0%), например
Googlenikoinlove26.01.2017
13:28:13
13:28:13
Evictable Cache 259.30GiB (100%)
:)
ладно, забей, я думал что-нибудь новое узнал) не надо им пользоваться и все
Darafei26.01.2017
13:29:55
13:29:55
ну как не надо, надо знать, где заканчивается граница применимости :)
на девелоперской машине отчего нет
Боб26.01.2017
13:32:38
13:32:38
а можно как-то заставить UNION выполнять запросы строго по-очереди?
Alexey26.01.2017
14:47:47
14:47:47
а можно как-то заставить UNION выполнять запросы строго по-очереди?
Можно max_threads = 1, но это приведёт также к тому, что каждый запрос из UNION ALL тоже будет выполняться в один поток.
f1yegor26.01.2017
16:03:40
16:03:40
Всем привет! Не запускается сервер CH. В логах ошибка:
может быть у вас две реплики под одним номером зарегистрированы?
hamper ?26.01.2017
16:33:40
16:33:40
Привет, а как в кликхаус принято загружать структуру таблиц? Например есть файлик tables.sql, как его скормить в клиента? простое перенаправление говорит что Multi-statements are not allowed
Igor26.01.2017
16:34:19
16:34:19
cat tables.sql | clickhouse-client -n
это параметр --multiquery. разрешает выполнение нескольких запросов за раз.
а чтобы в интерактивном режиме вставить, надо еще -m пропихнуть (--multiline)
r26.01.2017
16:45:26
16:45:26
Всем привет!
Подскажите какие есть функции преобразования Даты,Времени?
Поддерживается ли now()-interval 1 day ?
Slach26.01.2017
16:49:17
16:49:17
https://clickhouse.yandex/reference_ru.html#Функции для работы с датами и временем
now есть
Igor26.01.2017
16:50:46
16:50:46
а насчет -1 day сходу есть now() - 86400 например
если дата, то считается по дням, а не по секундам
:) SELECT today() - 3
2017-01-23
Roman26.01.2017
17:00:07
17:00:07
В вакансиях уже пишут пожелания об опыте с ClickHouse у кандидатов http://www.sql.ru/forum/1247509/ishhem-python-razrabotchikov-sankt-peterburg-80-120-t-r-net?hl=clickhouse
GoogleRoman26.01.2017
17:00:31
17:00:31
Интересно, когда это станет обязательным требованием :)
f1yegor26.01.2017
17:02:29
17:02:29
здорово
Roman26.01.2017
17:08:16
17:08:16
https://jobs.dou.ua/companies/clickky/vacancies/33603/?from=list_hot
Maksim26.01.2017
17:19:48
17:19:48
ну там хотя бы 4 года опыта коммерческой работы просят?
f1yegor26.01.2017
17:20:21
17:20:21
))
Ilya26.01.2017
17:20:54
17:20:54
6 лет на свифте ещё
Виктор26.01.2017
17:22:11
17:22:11
3 года разработки под ubuntu 16.04+
Arseniy26.01.2017
17:44:34
17:44:34
Привет,
> SELECT toDateTime(inf)
> 0000-00-00 00:00:00
- так и должно быть? Ожидал либо особый inf_date, либо исключение в связи с несоответствием типов. А то проверка вида
WHERE time <= toDateTime({timestamp})
не пропускает ни одной строки в случае {timestamp}=inf, но и ошибки не выдает, хотя казалось бы любая запись сделана раньше плюс бесконечности
papa26.01.2017
17:47:31
17:47:31
ну там хотя бы 4 года опыта коммерческой работы просят?
/**
* http клиент для работы с базой clickhouse
* @since 7/11/12
*/
public class HttpTemplateкак время-то летит.Привет,
> SELECT toDateTime(inf)
> 0000-00-00 00:00:00
- так и должно быть? Ожидал либо особый inf_date, либо исключение в связи с несоответствием типов. А то проверка вида
WHERE time <= toDateTime({timestamp})
не пропускает ни одной строки в случае {timestamp}=inf, но и ошибки не выдает, хотя казалось бы любая запись сделана раньше плюс бесконечности
в качестве inf_date можно использовать '2038-01-18 06:14:07'nikoinlove26.01.2017
17:57:42
17:57:42
в каком часовом поясе?)
papa26.01.2017
17:58:12
17:58:12
в яндексовом
r26.01.2017
17:58:22
17:58:22
Огромное спасибо!
Anatoly26.01.2017
19:08:18
19:08:18
f1yegor26.01.2017
21:29:02
21:29:02
давно видел этого чувака, но тут он подводит некоторые итоги http://tech.marksblogg.com/benchmarks.html
вам было бы интересно дополнение серии clickhouse?
Igor26.01.2017
21:29:40
21:29:40
читал сегодня про kdb+/q как раз и думал, насколько КХ его порвал бы (если бы порвал)
Alexey26.01.2017
21:32:32
21:32:32
вам было бы интересно дополнение серии clickhouse?
Да, очень инетересно. Можно попросить этого человека добавить ClickHouse?f1yegor26.01.2017
21:33:54
21:33:54
думаю можно подтолкнуть его к этому, или самому заняться тестированием. насколько я помню все данные и процесс открыты
Alexey26.01.2017
21:34:16
21:34:16
читал сегодня про kdb+/q как раз и думал, насколько КХ его порвал бы (если бы порвал)
Весьма интересно. Правда там есть только тест kdb+ под Xeon Phi.
Мы тоже можем где-нибудь достать Xeon Phi, правда не обязательно такой же. Но сделать на нём тесты займёт время.GoogleIgor26.01.2017
21:34:22
21:34:22
думаю можно подтолкнуть его к этому, или самому заняться тестированием. насколько я помню все данные и процесс открыты
ну надо будет на том же железе проверятьf1yegor26.01.2017
21:34:59
21:34:59
у него большинство железа - это облако
Igor26.01.2017
21:35:05
21:35:05
ааа
f1yegor26.01.2017
21:35:18
21:35:18
вот твит https://twitter.com/marklit82/status/824603704095625219?s=09
Igor26.01.2017
21:35:22
21:35:22
кстати, а вы рассматривали вариант с CUDA какой-нибудь, вот этим всем? или логика работы GPU не подошла бы? (да и на SSE-инструкции вы сильно завязаны)
Alexey26.01.2017
21:36:02
21:36:02
Я как раз вчера скачал данные такси:
https://github.com/toddwschneider/nyc-taxi-data
На удивление, быстро скачалось - за час где-то.
Буду загружать.
Там в примерах способ загрузки через Postgres...
Можно и напрямую.
Igor26.01.2017
21:36:03
21:36:03
извините если фигню спрашиваю, я не очень разбираюсь, но интересно )
Darafei26.01.2017
21:36:17
21:36:17
в куду дорого данные запихивать
f1yegor26.01.2017
21:36:54
21:36:54
@milovidov_an а ты в твиттере есть?
Alexey26.01.2017
21:37:36
21:37:36
кстати, а вы рассматривали вариант с CUDA какой-нибудь, вот этим всем? или логика работы GPU не подошла бы? (да и на SSE-инструкции вы сильно завязаны)
Часто спрашивают. Это отдельная разработка, мы это не делаем. Для некоторых сценариев очень хорошо - когда данные помещаются в оперативку карты и постоянно их передавать туда не надо.f1yegor26.01.2017
21:50:35
21:50:35
давай тогда посмотрим что выйдет, в начале следующей недели пинганем человека либо с частичными результатами, либо с предложением посмотреть КХ
Alexey26.01.2017
21:51:11
21:51:11
Давай на этой неделе пинганём с предложением посмотреть, а на следующей - ещё раз.
Можно первое сделать прямо сейчас.
f1yegor26.01.2017
21:51:40
21:51:40
ага, уже пишу
Alexey26.01.2017
21:52:12
21:52:12
Спасибо.
ovf26.01.2017
22:13:42
22:13:42
taxi в clickhouse будет очень интересно увидеть.
Константин27.01.2017
05:54:45
05:54:45
@hagen1778 Скажите, это нормальное поведение в grafana, если в template переменной позволить Multi-value, то при выборе нескольких значение мы получим {1,2,3...}. Вопрос в чем - можно ли избежать фигурных скобок, чтобы использовать переменную в IN. Я уже мозг сломал, как бы это реализовать...
Roman27.01.2017
06:39:36
06:39:36
@hagen1778 Скажите, это нормальное поведение в grafana, если в template переменной позволить Multi-value, то при выборе нескольких значение мы получим {1,2,3...}. Вопрос в чем - можно ли избежать фигурных скобок, чтобы использовать переменную в IN. Я уже мозг сломал, как бы это реализовать...
Скорее нет. Я проверю сегодня данную опцию и сообщу Вам о результатахDarafei27.01.2017
06:43:06
06:43:06
@hagen1778 Скажите, это нормальное поведение в grafana, если в template переменной позволить Multi-value, то при выборе нескольких значение мы получим {1,2,3...}. Вопрос в чем - можно ли избежать фигурных скобок, чтобы использовать переменную в IN. Я уже мозг сломал, как бы это реализовать...
а нельзя сделать что-то вроде постгресячего a in '{1,2,3}'::int[] ?
Открыть в Telegram