Да нет тут этого бота

Проще взять бота который удаляет джоины

5 как-то мало. можно мини-революцию устроить и испортить чат вообще

по опыту - чаты не порятся, а норм избавляются от спама

в принципе, бот банящий за больше 5 пробелов в имени имхо самое простое решение

будут подчеркиваниями отделять

Умеет кликать китайцев

https://t.me/AlexFailsChannel/483

вспомнила. Banofbot

да лааадно ?

Нужно: * больше админов чтоб подчищали * задолбать телеграм через https://telegram.org/support чтоб начали сами бороться с подобными штуками

им это не нужно

я про спам и дурова

они дали платформу , а люди пусть сами антиспам ботов создают

у меня просто антиспам бот есть. более менее знаю рынок спамеров

им это не нужно

Это проблема платформы, не нужно кивать на то что ботов можно делать.

Это проблема платформы, не нужно кивать на то что ботов можно делать.

увы таковы реалии

делаю ALTER TABLE t_old DETACH PARTITION 2018 но эффекта нет (можно указать месяц), партиции наблюдаю в system.parts. версия 1.1.54385. по каким причинам такое может происходить? перед этим делал optimize

делаю ALTER TABLE t_old DETACH PARTITION 2018 но эффекта нет (можно указать месяц), партиции наблюдаю в system.parts. версия 1.1.54385. по каким причинам такое может происходить? перед этим делал optimize

Как партиция в system.parts называется?

Как партиция в system.parts называется?

─partition─┬─name───────────────────────────────────┬─name───────────────────────────────────┬─bytes_on_disk─┐ │ 201807 │ 20180701_20180705_4399572_4399572_1207 │ 20180701_20180705_4399572_4399572_1207 │ 218874526 │ │ 201807 │ 20180705_20180707_4399573_4399573_988 │ 20180705_20180707_4399573_4399573_988 │ 94776389 │ │ 201807 │ 20180707_20180712_4399574_4399574_1384 │ 20180707_20180712_4399574_4399574_1384 │ 177651496 │ │ 201807 │ 20180712_20180715_4399575_4399575_1081 │ 20180712_20180715_4399575_4399575_1081 │ 120869288 │ │ 201807 │ 20180715_20180722_4399576_4399576_1301 │ 20180715_20180722_4399576_4399576_1301 │ 310373382 │ │ 201807 │ 20180722_20180723_4399577_4399577_978 │ 20180722_20180723_4399577_4399577_978 │ 15850750 │ │ 201807 │ 20180723_20180723_4399578_4399578_742 │ 20180723_20180723_4399578_4399578_742 │ 14627852 │ │ 201807 │ 20180723_20180724_4399579_4399579_847 │ 20180723_20180724_4399579_4399579_847 │ 7478456 │ │ 201807 │ 20180724_20180724_4399580_4399580_169 │ 20180724_20180724_4399580_4399580_169 │ 409537 │ │ 201807 │ 20180724_20180724_4399581_4399581_0 │ 20180724_20180724_4399581_4399581_0 │ 20327 │ │ 201807 │ 20180724_20180724_4399582_4399582_0 │ 20180724_20180724_4399582_4399582_0 │ 60405 │ └───────────┴────────────────────────────────────────┴────────────────────────────────────────┴───────────────┘

Вот и дропайте 201807

оу, все. открепилось ?

Там нужно выбирать с WHERE active, партиция меняет статус и видна в system.parts, но уже недоступна на чтение для новых SELECT

Пока идут чтения из этой партиции её просто так нельзя взять и отцепить ;)

Там нужно выбирать с WHERE active, партиция меняет статус и видна в system.parts, но уже недоступна на чтение для новых SELECT

да, про active то я и подзабыл

Привет. Пока на тесте кластер гоняли, было ок. Выкатили с тем же (надеюсь) конфигом на прод, словили "Cannot read all data in NativeBlockInputStream". Объём передаваемой стопки INSERT'ов небольшой, меньше 100. Колонок тоже мало. Потому вариант "сунули гигабайт, не успели вычитать" пока откинул. А куда дальше рыть? От чего такая ошибка бывает?

Есть такой запрос создания мат вью CREATE MATERIALIZED VIEW loadstat_agg_view TO loadstat_agg ENGINE = AggregatingMergeTree(date, (host, date), 8192) POPULATE AS SELECT host, date, countState() AS hitCount, countState(if(load = 0, host, NULL)) AS badCount, uniqState(ip) AS hostCount, uniqState(host) AS siteCount, uniqState(userAgent) AS uniqCount, avgState( if( ((resolved - opened) > 0) AND ((resolved - opened) <= 60000), resolved - opened, NULL ) / 1000 ) AS avgLoadTime FROM loadstat GROUP BY host, date Ругается: Code: 62, e.displayText() = DB::Exception: Syntax error: failed at position 99 (line 2, col 1): ENGINE = AggregatingMergeTree(date, (host, date), 8192) POPULATE AS SELECT host, date, countState() AS hitCount, countState(if(load = 0, host, NULL)) AS. Expected one of: token, OpeningRoundBracket, AS, e.what() = DB::Exception Что не так?

коллеги, а есмть у КХ какая-нибудь хитрая функция аггрегирующая, типа возьми записи за такой-то период и с аггреируй их на N сэмплов?

Могу показать запрос, который делает графана с примерно таким же результатом.

https://pastebin.com/msEmhnZx

t в запросе - unixtimestamp, который увеличивается шагами по 300 секунд (в данном случае). Остальное - бантики

devtools::install_github("hannesmuehleisen/clickhouse-r") Установив эту библитеку можно создать коннект для библиотеке DBI: con_ch <- dbConnect( clickhouse::clickhouse(), ssl = TRUE, host = твой_хост, port = твой_порт, user = твоё_имя_юзера, password = твой_пароль )

возвращаясь к теме, которую я поднял в пятницу: через пакет Rclickhouse подключиться к кликхаусной базе так и не удалось (dbCanConnect выдает "closed: no error"), а вот через clickhouse-R удалось подключиться, ну или по крайней мере не выдает сообщения об ошибке. Однако dbListTables(con) показывает, что никаких кликхаусных таблиц на сервере нет

Могу показать запрос, который делает графана с примерно таким же результатом.

спасибо, втыкаю

если я сделал матвьюшку не через TO table, а через AS SELECT..., я ведь правильно понимаю, что с образовавшейся .inner.-таблицей я могу делать все то же самое, что с обычной таблицей (детачить, переделывать на Replicated, и т.п.)?

если я сделал матвьюшку не через TO table, а через AS SELECT..., я ведь правильно понимаю, что с образовавшейся .inner.-таблицей я могу делать все то же самое, что с обычной таблицей (детачить, переделывать на Replicated, и т.п.)?

"Недоработано выполнение запросов ALTER над материализованными представлениями, поэтому они могут быть неудобными для использования. Если материализованное представление использует конструкцию TO [db.]name, то можно выполнить DETACH представления, ALTER для целевой таблицы и последующий ATTACH ранее отсоединенного (DETACH) представления." (с) https://clickhouse.yandex/docs/ru/query_language/create/#create-view

оу... т.е. ответ на мой вопрос - "нет". и мне надо сделать матвьюху через TO и скопировать туда файлики из папки .inner.-таблицы?

оу... т.е. ответ на мой вопрос - "нет". и мне надо сделать матвьюху через TO и скопировать туда файлики из папки .inner.-таблицы?

Да

ага, спасибо. уже делаю.

Есть такой запрос создания мат вью CREATE MATERIALIZED VIEW loadstat_agg_view TO loadstat_agg ENGINE = AggregatingMergeTree(date, (host, date), 8192) POPULATE AS SELECT host, date, countState() AS hitCount, countState(if(load = 0, host, NULL)) AS badCount, uniqState(ip) AS hostCount, uniqState(host) AS siteCount, uniqState(userAgent) AS uniqCount, avgState( if( ((resolved - opened) > 0) AND ((resolved - opened) <= 60000), resolved - opened, NULL ) / 1000 ) AS avgLoadTime FROM loadstat GROUP BY host, date Ругается: Code: 62, e.displayText() = DB::Exception: Syntax error: failed at position 99 (line 2, col 1): ENGINE = AggregatingMergeTree(date, (host, date), 8192) POPULATE AS SELECT host, date, countState() AS hitCount, countState(if(load = 0, host, NULL)) AS. Expected one of: token, OpeningRoundBracket, AS, e.what() = DB::Exception Что не так?

Ответил на гитхабе. Если целевая таблица уже есть то матвью не нужны параметры движка для создания .inner таблицы.

Ответил на гитхабе. Если целевая таблица уже есть то матвью не нужны параметры движка для создания .inner таблицы.

Убрал ENGINE, ругается теперь так: Syntax error: failed at position 213 (line 3, col 70): POPULATE AS

https://github.com/yandex/ClickHouse/blob/7bae3506c41be971ec6ec031c139f596e026a5f0/dbms/src/Parsers/ParserCreateQuery.cpp#L367

POPULATE не работает с TO.

Легко обойти - можно просто INSERT ... SELECT сделать перед созданием матвью

Но действительно наверное несколько нелогично, по крайней мере должно быть какое-то внятное сообщение об ошибке.

возвращаясь к теме, которую я поднял в пятницу: через пакет Rclickhouse подключиться к кликхаусной базе так и не удалось (dbCanConnect выдает "closed: no error"), а вот через clickhouse-R удалось подключиться, ну или по крайней мере не выдает сообщения об ошибке. Однако dbListTables(con) показывает, что никаких кликхаусных таблиц на сервере нет

Вчера здесь обсуждалась проблема с closed: no error с RClickhouse. Подключайтесь к порту 9000, а не к 8123. RClickhouse не использует HTTP-интерфейс

Вчера здесь обсуждалась проблема с closed: no error с RClickhouse. Подключайтесь к порту 9000, а не к 8123. RClickhouse не использует HTTP-интерфейс

Спасибо. Да, подтверждаю - с RClickhouse проблема сегодня наконец решилась подключением к порту 9000 и явным прописыванием базы данных в запросе коннекта

https://github.com/yandex/ClickHouse/blob/7bae3506c41be971ec6ec031c139f596e026a5f0/dbms/src/Parsers/ParserCreateQuery.cpp#L367

Спасибо

А что будет если при расширении зк кластера вышло в итоге два лидера , потом я прибилвсе зк кроме одного и поднял по очереди их вроде они подтянули все данные с одного не прибитого зк

дело шло довольно долго но пропали данные за 10 минут в итоге

на клиентах стоит автоматическое сохранение данных и они их дописывают потом в кх если сейчас не удалось это сделать

в целом все данные подтянулись кроме небольшой части в эти 10 минут

что могло с ними случиться?

Вроде писали что некоторые данные должны будут упасть в итоге в детачед но там их нет

День добрый! Народ, подскажите - хочу из одного большого запроса сделать вьюшку, а мне в ответ: DB::Exception: Logical error while creating StorageView. Could not retrieve database name from select query..

День добрый! Народ, подскажите - хочу из одного большого запроса сделать вьюшку, а мне в ответ: DB::Exception: Logical error while creating StorageView. Could not retrieve database name from select query..

https://github.com/yandex/ClickHouse/issues/369

спасибо, помогло

Привет всем, можете помочь при подключении питоном через sqlalchemy query= 'select * from Info limit 5' connection = engine.connect() r = connection.execute(query) result=r.fetchall() - возвращает пустой массив при этом через веб интерфейс запрос обрабатывается нормально

а если * раскрыть в список? Встречал как-то что * не возвращала одно поле которое успешно возвращалось при полном перечислении

сейчас поробую

неа тоже саое пустое возращает и pd.read_sql_query(query , connection), а так пустой дата фрейм

2018.07.24 15:31:57.778718 [ 3 ] <Warning> DDLWorker: Distributed DDL worker is run with readonly settings, it will not be able to execute DDL queries Set apropriate system_profile or distributed_ddl.profile to fix this. подскажите, что за ворнинг, чем грозит, как пофиксить?

2018.07.24 15:31:57.778718 [ 3 ] <Warning> DDLWorker: Distributed DDL worker is run with readonly settings, it will not be able to execute DDL queries Set apropriate system_profile or distributed_ddl.profile to fix this. подскажите, что за ворнинг, чем грозит, как пофиксить?

Там же все написано, используется профайл который readonly и вы не можете выполнять запросы CREATE/DROP ON CLUSTER

Всем привет! Подскажите, пожалуйста. пытаемся решить проблему подсоединить внешнюю систему (Tableau) к КликХаусу. Подозреваем, что подключаться нужно через ODBC, но гугл выдает только информацию как загнать данные В КХ через ODBC ) А как отдать из КХ данные по этому формату?

Там же все написано, используется профайл который readonly и вы не можете выполнять запросы CREATE/DROP ON CLUSTER

реплицируемый профиль установлен как <readonly>0</readonly>

Там же все написано, используется профайл который readonly и вы не можете выполнять запросы CREATE/DROP ON CLUSTER

есть пользователь replicator, у него профиль sudoer, у sudoer ридонли в 0. но важно пояснить, что пока у нас развёрнуты шарды по 1 реплике каждая. Но зукипер как задел на следующий этап интеграции уже стоит

может, поэтому так ругается?

при этом в конечном preprocessed конфиге (и в основном) есть <distributed_ddl> <!-- Path in ZooKeeper to queue with DDL queries --> <path>/clickhouse/task_queue/ddl</path> </distributed_ddl>

реплицируемый профиль установлен как <readonly>0</readonly>

system_profile какой в конфиге и что у него с readonly?

system_profile какой в конфиге и что у него с readonly?

такого вообще нет, впервые слышу что нужен такой

Значит смотрите что за настройки для default

<default> <!-- Maximum memory usage for processing single query, in bytes. --> <max_memory_usage_for_user>118111600640</max_memory_usage_for_user> <max_memory_usage_for_all_queries>123480309760</max_memory_usage_for_all_queries> <max_memory_usage>118111600640</max_memory_usage> <http_connection_timeout>10</http_connection_timeout> <connect_timeout_with_failover_ms>2000</connect_timeout_with_failover_ms> <max_bytes_before_external_group_by>0</max_bytes_before_external_group_by> <max_bytes_before_external_sort>0</max_bytes_before_external_sort> <distributed_aggregation_memory_efficient>1</distributed_aggregation_memory_efficient> <use_uncompressed_cache>0</use_uncompressed_cache> <load_balancing>random</load_balancing> <readonly>1</readonly> </default> да, default я решил использовать как RO профиль ?

поменяем - спасибо за наводку

Всем привет! Подскажите, пожалуйста. пытаемся решить проблему подсоединить внешнюю систему (Tableau) к КликХаусу. Подозреваем, что подключаться нужно через ODBC, но гугл выдает только информацию как загнать данные В КХ через ODBC ) А как отдать из КХ данные по этому формату?

https://github.com/yandex/clickhouse-odbc/releases/tag/2018-05-15

а может проще system_profile сделать тот, который sudoer у нас с RW правами? где его вообще прописывать, system_profile?

а может проще system_profile сделать тот, который sudoer у нас с RW правами? где его вообще прописывать, system_profile?

в основном конфиге https://github.com/yandex/ClickHouse/blob/fbe7df73a24733f4ce0b133cb83b8acf962398a3/dbms/programs/server/config.xml#L124

Всем привет! Подскажите, пожалуйста. пытаемся решить проблему подсоединить внешнюю систему (Tableau) к КликХаусу. Подозреваем, что подключаться нужно через ODBC, но гугл выдает только информацию как загнать данные В КХ через ODBC ) А как отдать из КХ данные по этому формату?

https://yandex.github.io/clickhouse-presentations/meetup11/tableau.pptx

в основном конфиге https://github.com/yandex/ClickHouse/blob/fbe7df73a24733f4ce0b133cb83b8acf962398a3/dbms/programs/server/config.xml#L124

спасибо ?

https://yandex.github.io/clickhouse-presentations/meetup11/tableau.pptx

Вижу, смотрю. Спасибо!

Привет. Пока на тесте кластер гоняли, было ок. Выкатили с тем же (надеюсь) конфигом на прод, словили "Cannot read all data in NativeBlockInputStream". Объём передаваемой стопки INSERT'ов небольшой, меньше 100. Колонок тоже мало. Потому вариант "сунули гигабайт, не успели вычитать" пока откинул. А куда дальше рыть? От чего такая ошибка бывает?

Сам себе же и отвечу. Таким макаром ClickHouse дал понять, что ему не нравится питонячий datetime вместо date в INSERT'е. Удобнее, конечно, было бы увидеть ошибку прям такими словами. Хотя бы "ой, типы данных не совпадают".

Всем привет! Подскажите, пожалуйста. пытаемся решить проблему подсоединить внешнюю систему (Tableau) к КликХаусу. Подозреваем, что подключаться нужно через ODBC, но гугл выдает только информацию как загнать данные В КХ через ODBC ) А как отдать из КХ данные по этому формату?

сделайте промежуточную бд)

Добрый день. Возникла рассинхронизация между метаданными Zookeeper и, как я понимаю, ReplicatedMergeTree таблицей. Ключи идут в разном порядке. К примеру, show create показывает, что ключи (A, B, C), а в метаданных из select * from system.zookeeper where path='/clickhouse/tables/0/myTable_replicated' ключи — (A, C, B). Хочу создать ещё одну реплику, и, по хорошему, хочу создавать с (A, B, C), но выдаёт ошибку Existing table metadata in ZooKeeper differs in primary key. Как такое могло случиться? Как обстоят дела на самом деле: как в show create или как в system.zookeeper? До этого был уверен, что создавал как в show create.

Коллеги, а есть какая-нибудь информация по новым версиям? Которые v18.xx ? Стоит их собирать и пробовать или пока лучше не надо? :)

Добрый день. Возникла рассинхронизация между метаданными Zookeeper и, как я понимаю, ReplicatedMergeTree таблицей. Ключи идут в разном порядке. К примеру, show create показывает, что ключи (A, B, C), а в метаданных из select * from system.zookeeper where path='/clickhouse/tables/0/myTable_replicated' ключи — (A, C, B). Хочу создать ещё одну реплику, и, по хорошему, хочу создавать с (A, B, C), но выдаёт ошибку Existing table metadata in ZooKeeper differs in primary key. Как такое могло случиться? Как обстоят дела на самом деле: как в show create или как в system.zookeeper? До этого был уверен, что создавал как в show create.

Как-то все печально, в этом случае я бы просто создал новую таблицу с нужной структурой и перелил туда данные, но всё же интересно как это могло получиться. SHOW CREATE берет файлик с диска, а не из ZK

Всем привет! Подскажите, пожалуйста. пытаемся решить проблему подсоединить внешнюю систему (Tableau) к КликХаусу. Подозреваем, что подключаться нужно через ODBC, но гугл выдает только информацию как загнать данные В КХ через ODBC ) А как отдать из КХ данные по этому формату?

https://gist.github.com/alexey-milovidov/b42380a845d96aaa6e5426c142602277

https://gist.github.com/alexey-milovidov/b42380a845d96aaa6e5426c142602277

у нас linux ?

у нас linux ?

Даже не знал что tableau есть под линукс :) Ну по идее должно быть как-то похоже. :)

Только с помощью unixodbc

у нас linux ?

Так а Табло сервер имеется ввиду? Десктоп табло винда или мак

Ещё. Оказалось, что после ALTER TABLE .. ADD COLUMN .. метаданные в ZK не изменились, и по прежнему не содержат новую колонку. Так и должно быть?