Прошу прощения за глупый вопрос. Кто использовал infi.clickhouse_orm для импорта данных в CH, как наиболее эффективно заполнять поля для сконфигурированных классов таблиц ? Я формирую pandas DataFrame размером один батч с данными из имеющейся базы, заполняю где был null стандартными значениями, проверяю приведение и начинаю формировать объекты для каждой строки через .setattr(x, value). занимает это порядка 3с на 1000 объектов с 122 полями. Мб возможно оптимизировать работу через другие коннекторы ? Спасибо.

Очень мало частей конфигурации вступает в силу без перезагрузки: всё что в users.xml, все dictionaries и remote_servers.

Понял, спасибо!

Прошу прощения за глупый вопрос. Кто использовал infi.clickhouse_orm для импорта данных в CH, как наиболее эффективно заполнять поля для сконфигурированных классов таблиц ? Я формирую pandas DataFrame размером один батч с данными из имеющейся базы, заполняю где был null стандартными значениями, проверяю приведение и начинаю формировать объекты для каждой строки через .setattr(x, value). занимает это порядка 3с на 1000 объектов с 122 полями. Мб возможно оптимизировать работу через другие коннекторы ? Спасибо.

Я могу только заметить, что это действительно очень медленно. Но я сам не пользовался этим драйвером и не могу сказать, что тормозит - драйвер или Pandas.

Я могу только заметить, что это действительно очень медленно. Но я сам не пользовался этим драйвером и не могу сказать, что тормозит - драйвер или Pandas.

Pandas выполняет все свои проверки быстро и над всеми полями. Меня в силу недостатка знаний смущает конструкция последовательного прохода по всем 122 параметрам для каждого из 1000 объектов.

Доброй ночи. Ребят подскадите есть ли чат по API отчетов v1 для AppMetrica? Интересует, можно ли группировать не только по трекерам, но и по меткам, которые используются в этих трекерах.

Прошу прощения за глупый вопрос. Кто использовал infi.clickhouse_orm для импорта данных в CH, как наиболее эффективно заполнять поля для сконфигурированных классов таблиц ? Я формирую pandas DataFrame размером один батч с данными из имеющейся базы, заполняю где был null стандартными значениями, проверяю приведение и начинаю формировать объекты для каждой строки через .setattr(x, value). занимает это порядка 3с на 1000 объектов с 122 полями. Мб возможно оптимизировать работу через другие коннекторы ? Спасибо.

Попробуйте наш нативный драйвер https://github.com/mymarilyn/clickhouse-driver Есть обёртка для sqlalchemy https://github.com/xzkostyan/clickhouse-sqlalchemy

Попробуйте наш нативный драйвер https://github.com/mymarilyn/clickhouse-driver Есть обёртка для sqlalchemy https://github.com/xzkostyan/clickhouse-sqlalchemy

+1 к https://github.com/mymarilyn/clickhouse-driver

Начал его использовать. Работает хорошо

Попробуйте наш нативный драйвер https://github.com/mymarilyn/clickhouse-driver Есть обёртка для sqlalchemy https://github.com/xzkostyan/clickhouse-sqlalchemy

А в вашей обертке для алхимии есть поддержка функций с лямбдами?

Это лучше ответит сам автор @tkostyan

А в вашей обертке для алхимии есть поддержка функций с лямбдами?

Функций в плане прокси в виде func.do_smth()? Можно пример того что хочется?

Функций в плане прокси в виде func.do_smth()? Можно пример того что хочется?

например, я хочу использовать какую-нибудь функцию работы с массивами, где есть лямбда: SELECT arrayFilter(x -> x LIKE '%World%', ['Hello', 'abc World']) AS res

В виде оператора этого пока нет. Можете попробовать это сделать в виде вызова функции func.lambda(x, expr)

В виде оператора этого пока нет. Можете попробовать это сделать в виде вызова функции func.lambda(x, expr)

спасибо, посмотрю

Хотя, это тоже не выйдет из-за зарезервированности "lambda" в питоне.

А почему при записи 1970-01-01 в колонку типа Date я получаю 0000-00-00 вместо 1970-01-01? )

а зачем вообще писать такую дату?

а зачем вообще писать такую дату?

Зачем вообще писать дату? )

Есть например справочник всех войн и там куча показателей

И например дата войны до юниксовой эпохи

Это просто как пример привязки даты к событию

Таких кейсов может быть много

тогда пиши строку, а не дату

превращать в timestamp? и пилить в int?

Формат date же хранится в unix time если я не ошибаюсь

...

Формат date же хранится в unix time если я не ошибаюсь

да, верно

Нам к примеру нужны милли или микросекунды. К сожалению приходится хранить 3 поля local_date, local_time, local_time_ns

превращать в timestamp? и пилить в int?

Как вариант, только никакие операции не произведешь. Например среднюю продолжительность мирного времени не посчитаешь ) бред сумасшедшего, но все же )

почему? вычесть из int-int и перемножить до дней-недель-месяцев, у меня вроде в компании ребята все время пилят в timestamp и места меньше и проще вроде в коде работать

Как вариант, только никакие операции не произведешь. Например среднюю продолжительность мирного времени не посчитаешь ) бред сумасшедшего, но все же )

И например дата войны до юниксовой эпохи

работайте со сдвигом на 2000 лет )

Инт без сдвига нет смысла использовать. 0 значение будет первое января 1970 года, а мне надо раньше ) вот и получается, что нужно двигать, да

Причем сдвиг в 2000 лет должен учитывать високосные года )

блин, тоже верно

Есть такой запрос (из Табло) SELECT Custom_SQL_Query.date AS date, SUM((CASE WHEN Custom_SQL_Query.uv = 0 THEN NULL ELSE CAST(Custom_SQL_Query.vv AS FLOAT) / Custom_SQL_Query.uv END)) AS sum_vv__copy__ok FROM ( SELECT subsite_id, subsite, date, percent_view ) Custom_SQL_Query WHERE (Custom_SQL_Query.subsite IN ('Gambit', 'Gambit-html5-android', 'Gambit-html5-ios')) GROUP BY date КХ возвращает Internal error вот кусок лога https://pastebin.com/78ShXb0J

так работает case when uniqExact(uid)=0 then 0 else cast(count() as Float) / uniqExact(uid) end а так нет case when uniqExact(uid)=0 then NULL else cast(count() as Float) / uniqExact(uid) end

Есть такой запрос (из Табло) SELECT Custom_SQL_Query.date AS date, SUM((CASE WHEN Custom_SQL_Query.uv = 0 THEN NULL ELSE CAST(Custom_SQL_Query.vv AS FLOAT) / Custom_SQL_Query.uv END)) AS sum_vv__copy__ok FROM ( SELECT subsite_id, subsite, date, percent_view ) Custom_SQL_Query WHERE (Custom_SQL_Query.subsite IN ('Gambit', 'Gambit-html5-android', 'Gambit-html5-ios')) GROUP BY date КХ возвращает Internal error вот кусок лога https://pastebin.com/78ShXb0J

А зачем в CASE выполнять преобразование cast(count() as Float?

я не знаю как в КХ, но где-то деление целого на целое будет в результате целое, а надо вещественное

и Табло генерит каст по умолчанию

да и не в касте мне кажется дело, а в операция с участием NULL

Возможно дело в том, что в КХ NULL добавлен относительно недавно, и что-то ещё не до конца поддерживает NULL. На это указывает, что замена на явное указание 0 работает

а есть ли функция типа URLPathHierarchy('https://example.com/browse/CONV-6788') = [ '/browse/', '/browse/CONV-6788' ] но чтобы вернула URLPathHierarchy2('https://example.com/browse/CONV-6788') = [ 'browse', 'CONV-6788' ] ?

splitByChar не пйодет?

О, и точно ?

select splitByChar('/', path(URL))[2] from qwe

Добрый вечер. Наткнулся на непонятное поведение Enum. :) select * from Order where Rebill='yes'; SELECT * FROM Order WHERE Rebill = 'yes' Received exception from server: Code: 49. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Unknown element 'yes' for type Enum8('no' = 0, 'yes' = 1). 0 rows in set. Elapsed: 0.068 sec. :) select Rebill,Count(*) from Order group by Rebill; SELECT Rebill, Count(*) FROM Order GROUP BY Rebill ┌─Rebill─┬─Count()─┐ │ no │ 390136 │ │ yes │ 302973 │ └────────┴─────────┘ 2 rows in set. Elapsed: 0.011 sec. Processed 693.11 thousand rows, 693.11 KB (61.00 million rows/s., 61.00 MB/s.) Что может быть?

Ну кстати у меня вот снова проблема повторилась и снова с отрицательным Enum-ом. Не понимаю пока в чем дело и как лечить. Есть две таблицы, в них объявлен один и тот же Enum, но одна позволяет селектить по условию EnumName='UNKNOWN' а другая не повзоляет, требуется кастовать.

Ну кстати у меня вот снова проблема повторилась и снова с отрицательным Enum-ом. Не понимаю пока в чем дело и как лечить. Есть две таблицы, в них объявлен один и тот же Enum, но одна позволяет селектить по условию EnumName='UNKNOWN' а другая не повзоляет, требуется кастовать.

Схему таблиц укажите

причем, что еще интереснее, в Enum'е 3 значения: Enum8('UNKNOWN' = -1, 'FALSE' = 0, 'TRUE' = 1) Вот эти два валятся с ошибками: select * from test.virtual_status_2017_02_26 WHERE ParentalControlEnabled='UNKNOWN' limit 1 select * from test.virtual_status_2017_02_26 WHERE ParentalControlEnabled='TRUE' limit 1 А вот этот отрабатывает: select * from test.virtual_status_2017_02_26 WHERE ParentalControlEnabled='FALSE' limit 1

Схему таблиц укажите

В смысле показать здесь структуру проблемных таблиц?

Да

Field1 String Field2 Enum8(\'UNKNOWN\' = 0, \'WINDOWS\' = 1, \'ANDROID\' = 2) Field3 DateTime Field4 FixedString(16) Field5 Nullable(String) Field6 Nullable(String) Field7 Nullable(String) Field8 DateTime Field9 Enum8(\'V1\' = 1, \'V2\' = 2, \'V3\' = 3, \'V4\' = 4, \'V5\' = 5) Field10 Nullable(String) Field11 UInt32 Field12 FixedString(2) Field13 UInt32 Field14 String Field15 Enum8(\'UNKNOWN\' = -1, \'FALSE\' = 0, \'TRUE\' = 1) SendAnonStats Enum8(\'UNKNOWN\' = -1, \'FALSE\' = 0, \'TRUE\' = 1) ParentalControlEnabled Enum8(\'UNKNOWN\' = -1, \'FALSE\' = 0, \'TRUE\' = 1) Field16 Enum8(\'UNKNOWN\' = 0, \'EXPIRED\' = 1) Field17 Nullable(UInt32) Field18 Array(String) Field19 Array(String) Field20 Array(UInt32) Field21 Enum8(\'UNKNOWN\' = 0, \'EXPIRED\' = 1, \'FREE\' = 2)

соответственно проблема на полях Field15, SendAnonStats, ParentalControlEnabled

как и в прошлый раз, на полях с отрицательными значениями

причем значения енума UNKNOWN и TRUE фейлятся на всех трех филдах, значение FALSE на всех трех филдах работает нормально

А для поля Field2 работает нормально? Может дело в том, что в проблемных полях есть значения с -1?

да, проблема в отрицательных значениях

я второй раз замечаю эту проблему, и второй раз на енумах с отрицательным значением

но при этом проблема плавающая

то есть у меня рядом есть таблица где тот же самый енум работает нормально

Судя по описанию доки https://clickhouse.yandex/docs/ru/data_types/enum.html?highlight=enum лично у меня сомнение, что если указать отрицательное значение, оно в какой-то ситуации может пытаться кастоваться как Int8. Что и проводит к ошибке

да, проблема в отрицательных значениях

а можете приготовить готовый минимальный тест в котором будет видно что падает ?

просто sql c create .. insert .. select...

Судя по описанию доки https://clickhouse.yandex/docs/ru/data_types/enum.html?highlight=enum лично у меня сомнение, что если указать отрицательное значение, оно в какой-то ситуации может пытаться кастоваться как Int8. Что и проводит к ошибке

То есть вместо Enum'a оно где то кастуется как Int8?

То есть вместо Enum'a оно где то кастуется как Int8?

Это предположение

угу, я понял. минимальный тест сейчас пытаюсь сделать, оно не всегда повторяется.

в общем вот это сообщение выскакивает тогда, когда таблица создается через http интерфейс и имеет неправильный порядок (отрицательных?) значений, например вот такой TRUE(1), FALSE(0), UNKNOWN(-1)

Поменял порядок на возрастающий и попустило. Причем при создании таблицы через родной клиент кликхауза - проблемы нет

еще поиграюсь и формализую на гитхабе

Всем привет! Сегодня столкнулся с очень неприятной ситуацией. Есть кластер из 4 шардов и у каждого шарда по реплике. Внезапно на одном из шардов во всех запросах к таблице с ограничением по дате (например WHERE d_event_date=today()) сервер начал процессить все строки за все дни в партиции за текущий месяц. В итоге получилось, что на трех шардах запрос для обработки использует 50 миллионов строк, а на одно четвертом 1,2 миллиарда (что составляем количество строк за весь сентябрь). Та же ситуация и на реплике этого шарда. Единственный вариант - пересоздавать таблицы и перегонять данные, но это очень больно ( Никто не сталкивался с такой проблемой у себя?

Нашел в доке крутую команду OPTIMIZE, которая Просит движок таблицы сделать что-нибудь, что может привести к более оптимальной работе. но чет толку мало.

Друзья, как очистить таблицу с репликацией?

подскажите плиз, а подзапросы с условиями в КХ работают? хочется написать что-то вроде: SELECT DateAdded, (SELECT count() FROM t2 WHERE t2.DateAdded=t1.DateAdded) as Count FROM t1

коррелированные подзапросы не работают, джойны работают.

спасибо

коррелированные подзапросы не работают, джойны работают.

А будут? Вроде бы дело запланировано

Джоины начали поддерживать условия? оО

Или там только равенство?

Добрый день, подскажите плиз, работает ли в данный момент решардинг? Как только не пытался его завести, получаю Code: 325. DB::Exception: Received from localhost:9000, ::1. DB::Exception: This host is not allowed to subscribe to coordinator coordinator-0000000008. Задача - расширить кластер новыми шардами. Может быть есть еще какой-то способ. Сдампить, расширить, залить в новое не подойдет, объем данных уже большой.

Или там только равенство?

Только равенство, причем колонки должны называться одинаково

Коллеги, привет! На RIW 2017 ищу рекламодателя, который может поделиться опытом использования clickhouse.

Есть тут такие?)

А, тогда ничего нового ) думал пропустил что-то важное )