@bigdata_ru

Страница 24 из 327
yopp
08.11.2016
14:39:42
лол

これはスタスか…ロマンですか
08.11.2016
14:39:44
>only OCR for Hive

yopp
08.11.2016
14:39:50
я щас тоже могу график нарисовать красивый

кстати

Google
yopp
08.11.2016
14:41:01
а у clickhouse уже появилась комерческая поддержка?

Vladislav
08.11.2016
14:42:10
а у clickhouse уже появилась комерческая поддержка?
да там ничерта кроме БД нет, там хоть какую-нибудь поддержку

https://habrahabr.ru/company/smi2/blog/314558/

Вот только пару opensource проектов удобных забацали

yopp
08.11.2016
14:43:48
delete нет?

а есть где-то разбор как именно кликхауз устроен?

これはスタスか…ロマンですか
08.11.2016
14:47:32
is big data?

yopp
08.11.2016
14:47:51
чудес не бывает, интересно какие именно оптимизации они используют что на некоторых кейсах они быстрее других

размер не важен!

これはスタスか…ロマンですか
08.11.2016
14:48:16
Паша
08.11.2016
14:48:37
Самое полное описание, как оно устроено -- в документации. Не том смысле, что оно мега-полное, а другого нет ))

yopp
08.11.2016
14:49:06
2. Необходимо, чтобы результат выполнения запроса, в случае агрегации, помещался в оперативку на одном сервере. Объём исходных данных для запроса, при этом, может быть сколь угодно большим.

кек

Google
yopp
08.11.2016
14:49:20
wat
эти графики — профанация, в этом смысле

これはスタスか…ロマンですか
08.11.2016
14:54:11
kekekeke

Евгений
08.11.2016
14:54:13
строго фиксированный размер данных в памяти для каждой колонки, например uint16/uint8, фиксированный размер строки при создании, это нельзя потом поменять iirc, эффективная упаковка на диске

Eduard
08.11.2016
14:54:37
чел обещает открытый бенчмар для кликхауса в течение полугода сделать

yopp
08.11.2016
14:58:50
TinyLog Конкуррентный доступ к данным никак не ограничивается: - если вы одновременно читаете из таблицы и в другом запросе пишете в неё, то чтение будет завершено с ошибкой; - если вы одновременно пишите в таблицу в нескольких запросах, то данные будут битыми.

Vladislav
08.11.2016
15:00:24
is big data?
https://clickhouse.yandex/benchmark.html#["1000000000",["ClickHouse","Vertica"],["1"]]

yopp
08.11.2016
15:01:06
интересно, херова гора движков

Eduard
08.11.2016
15:01:12
в кликхаусе нет апдейтов

Паша
08.11.2016
15:01:59
ну там для мейнстримовых данных нужны только один-два, остальные всё же вспомогательные имхо (под словари итд)

yopp
08.11.2016
15:02:55
года через два-три, если не станет очередным тарантулом, можно будет говорить серьёзно

но идеи интересные

мне вот одно не понятно, зачем в ColDBM делать движки по целой таблице, а не по колонке?

читать проще?

При каждом запросе INSERT (точнее, на каждый вставляемый блок данных; запрос INSERT содержит один блок, или по блоку на каждые max_insert_block_size = 1048576 строк), делается около десятка записей в ZooKeeper в рамках нескольких транзакций. Это приводит к некоторому увеличению задержек при INSERT-е, по сравнению с нереплицируемыми таблицами.

Но если придерживаться обычных рекомендаций - вставлять данные пачками не более одного INSERT-а в секунду, то это не составляет проблем.

окей гуг^w яндекс

В связи с асинхронностью, только что вставленные данные, появляются на остальных репликах с небольшой задержкой.

Кворумная запись отсутствует. То есть, вы не можете записать данные с подтверждением их получения более одной репликой.

¯\_(ツ)_/¯

Eduard
08.11.2016
15:11:45
щас чел хочет рассказать как переехать с вертики на кликхаус)

Google
yopp
08.11.2016
15:12:05
зачем?

Eduard
08.11.2016
15:12:45
По его словам "есть причины". Смотрю презентацию.

yopp
08.11.2016
15:13:28
основная причина не переезжать на кликхаус — это карманная СУБД

пользователи не нужны и всем срать

случись что, ты ни за какие деньги не найдёшь людей которые тебе помогут

да, я вот этот менеджер с картинки

Eduard
08.11.2016
15:15:42
прям какой-то лол

yopp
08.11.2016
15:15:43
ага, вот и «оптимизации»

ну почему лол

для того чтоб таких показателей добиться на ряде кейсов, нужно было отказаться от ряда вещей

Eduard
08.11.2016
15:16:15
согласен

я в контексте темы презентации

Eduard
08.11.2016
15:17:04
хотя у выступающео тоже метрику надо хранить. как и в яндексе

yopp
08.11.2016
15:17:21
хотя у выступающео тоже метрику надо хранить. как и в яндексе
прикол в том, что они хранят данные на которые похуй

Eduard
08.11.2016
15:17:22
трансляции платные, к сожалению не могу скинуть реквизиты

Danila
08.11.2016
15:17:50
https://special.habrahabr.ru/highload/2016/

платные?

yopp
08.11.2016
15:17:55
Вы можете приобрети персональную трансляцию стоимостью 17000 рублей, которая даёт возможность смотреть доклады с одного компьютера.

нихуясебе

Google
Danila
08.11.2016
15:18:10
а откуда у меня этот урл?

Eduard
08.11.2016
15:18:26
данил, это текст, не видео

Danila
08.11.2016
15:18:44
в смысле?

yopp
08.11.2016
15:18:46
Admin
ERROR: S client not available

Vladislav
08.11.2016
15:18:50
этот кликхаус только для хранения метрики и подходит, стоит пойти в сторону для организации DWH и все, ваш кликхаус начинает упираться в пачку кастылей и велосипедов и хорошо еще, если не ваших

Danila
08.11.2016
15:19:00
https://www.youtube.com/watch?v=0BqvH41xzM8

Eduard
08.11.2016
15:19:10
а

обманул

Danila
08.11.2016
15:19:13
что то пошло не так)

Eduard
08.11.2016
15:19:22
с первой комнаты бесплатно на хабре

yopp
08.11.2016
15:19:27
Eduard
08.11.2016
15:19:34
тм 9 аудиторий

Danila
08.11.2016
15:19:42
а лол

ну и ладно

чет проиграл

Vladislav
08.11.2016
15:24:11
ну мне куда то надо загнать 5 пб нетфлоу, так что стоит рассмотреть, я думаю, помимо хадупа со спарком
загнать можно куда угодно и что угодно, вопрос, что потом с этим делать

Google
Eduard
08.11.2016
15:28:29
"можно запись обновить но никто не знает когда она обновится"

yopp
08.11.2016
15:29:20
на самом деле из твоей картинки с «чего нет», сразу понятно как они добились такой скорости сканов :)

Eduard
08.11.2016
15:30:14
сегодня чел из контача рассказывал про их БД

сказал, что у них куча разных бд, заточенных строго под малый набор операций

самодельных

типа для лайков, для сообщений и т.д

yopp
08.11.2016
15:31:19
> из контача > куча разных бд > самодельных

почему я не удивлён набору слов!

Vladislav
08.11.2016
15:41:47
ну в общем, пока кликхаус не сильно тащит по сравнению с вертикой, слишком много болей и на мой взгляд критичных

Eduard
08.11.2016
15:43:51
LifeStreet

KrivdaTheTriewe
08.11.2016
15:44:52
Вертика денег стоит

Но я не понимаю, чем Кассандра не подходит ?

Eduard
08.11.2016
15:45:54
такой вопрос задавли на пред выступлении

чел из яндекса ответил что-то про разные задачи

Страница 24 из 327