темная это мутировать стэйт

пособники Моргата

чисто поржать http://www.forbes.ru/karera-i-svoy-biznes/366133-sotrudniki-prihodyat-i-plachut-zachem-v-1s-bitriks-nanyali

@fes0r дай линк на http://sqlfiddle.com где ты накидал табличку с jsonb, спасибо

Народ, а clickhouse кто-то юзал? Интересует мнение. Хочу складывать в неё события, потом извлекать статистику (аггрегация по разным полям + по связаным таблицам). Задача в том, что бы разгрузить MySQL от тяжёлых выборок. Данные приложения как были так и останутся в MySQL + дополнительно складывать нужные таблицы в clickhouse и по ней уже делать выборки. Ок, не ок? Есть нюансы которые стоит учесть? Вижу php-шную обёртку, меня смущает что она идёт по http. Сильно плохо?)

учитывай, что кликхаус медленно работает на вставку по одному элементу, тебе нужно копить буфер и вставлять разом поизучай тему подробней, у яндекса вроде неплохо расписаны требования

Народ, а clickhouse кто-то юзал? Интересует мнение. Хочу складывать в неё события, потом извлекать статистику (аггрегация по разным полям + по связаным таблицам). Задача в том, что бы разгрузить MySQL от тяжёлых выборок. Данные приложения как были так и останутся в MySQL + дополнительно складывать нужные таблицы в clickhouse и по ней уже делать выборки. Ок, не ок? Есть нюансы которые стоит учесть? Вижу php-шную обёртку, меня смущает что она идёт по http. Сильно плохо?)

SQL там непривычный, нету update/delete, вставка нужна батчем потому что при больших количествах маленьких инсертов merge tree начинает часто сбоить. Добавлять сервера нужно руками, нет service discovery. Репликация через zookeper, отдельная головная боль. PHP-обертки были печальные полгода назад, сейчас возможно получше. По http там все клиенты общаются кроме нативного AFAIK

я тоже приглядывался, долго тестировал, решил остаться на мускуле, пока кешами можно закрыть беспроблемно, потом clickhouse или timeseriesdb

почему-то в пхп сообществе clickhouse слышу чаще чем cassandra

SQL там непривычный, нету update/delete, вставка нужна батчем потому что при больших количествах маленьких инсертов merge tree начинает часто сбоить. Добавлять сервера нужно руками, нет service discovery. Репликация через zookeper, отдельная головная боль. PHP-обертки были печальные полгода назад, сейчас возможно получше. По http там все клиенты общаются кроме нативного AFAIK

почти во всех распределенных хранилищах юзается ZK

я тоже приглядывался, долго тестировал, решил остаться на мускуле, пока кешами можно закрыть беспроблемно, потом clickhouse или timeseriesdb

А как кешами можно подоткнуть места где у пользователя есть возможность варьировать запрос? Типа просто раз тяжело выбрал и сохранил? Меняется параметр и снова выбирать их бд

У нас аналитики с ней живут. Рады.

Особо после того, как перестали укалдывать мускульные реплики на полку, хехе

почему-то в пхп сообществе clickhouse слышу чаще чем cassandra

я уже столько фэйлов с кассандрой слышал...

штука классная, но куча подводных камней

нет идеальной системы)

я уже столько фэйлов с кассандрой слышал...

наверное, потому, что нельзя просто взять технологию и не разбираясь в прод отправоять) так с чем угодно будет

наверное, потому, что нельзя просто взять технологию и не разбираясь в прод отправоять) так с чем угодно будет

пфф

нет идеальной системы)

тебя бы в магазин эпл стора отправить) у них есть)

ну ваще поднять кластера, нагенерить тестовых данных и посмотреть как себя будет вести система это куда дешевле и проще чем выбирать по отзывам в чатике

и потом влить тонну бабла на разгребание проблем и поддержку

если бы так легко было бы все протестировать… ?

а чем сложность?

В разнице тестовых кейсов и реальных

наверное, потому, что нельзя просто взять технологию и не разбираясь в прод отправоять) так с чем угодно будет

проблема конкретно с кассандрой что как только ты вроде с ней разобрался, вылазят новые подводные камни

ну такой синтетикой можно ток поверху пройтись

проблема конкретно с кассандрой что как только ты вроде с ней разобрался, вылазят новые подводные камни

так абсолютно со всем

проблема конкретно с кассандрой что как только ты вроде с ней разобрался, вылазят новые подводные камни

эт ты с монгой наверное не работал

Да… только с mysql разобрался, хренакс, и сервер лежит из-за дедлока в тредах ?

В разнице тестовых кейсов и реальных

вливаешь несколько терабайт данных и делаешь выборки

я вон даже в этом сраном пхп спустя 8 лет нахожу такое, что удивляться приходится...

эт ты с монгой наверное не работал

работал, после этого в nosql очень неохотно захожу. Хотя нагрузки были небольшие. На твоих нагрузках там по ходу дохуллиард захватывающих историй писать можно

работал, после этого в nosql очень неохотно захожу. Хотя нагрузки были небольшие. На твоих нагрузках там по ходу дохуллиард захватывающих историй писать можно

все проблемы которые у нас были - результат кривых рук и того что кто-то не читал нормально доки)

Но в общем если база идет как прилипала к мускулю, т.е. данные дублируются, то можно что угодно взять и попробовать на реальных данных и в реальных кейсах. Отказ безболезенно пройдет в общем кроме потраченного на эксперименты времени.

а репликацией из мускуля в nosql какой-нибудь никто не развлекался?

из-за того что данные нужно часто склеивать из эластика, монги, мускуля и еще внешних провайдеров, от джоинов можно сказать отказались, от каких-то серьезных транзакций тоже

а репликацией из мускуля в nosql какой-нибудь никто не развлекался?

https://debezium.io/ и хреначь себе стрим куда угодно

хайлоад, миллионные нагрузки, все дела: https://yadi.sk/i/VwpIjnIKxL2tWw пару месяцев назад зарелизили, до сих пор не работает :) вот так надо

?

https://vitess.io/ кто-то юзал это дело кстати?

А как кешами можно подоткнуть места где у пользователя есть возможность варьировать запрос? Типа просто раз тяжело выбрал и сохранил? Меняется параметр и снова выбирать их бд

все зависит от специфики нагрузки и как ты можешь играть с архитектурой. Я пока с бизнесом договорился, что когда совсем тяжелые запросы пойдут, складывать в очередь, если больше определенного времени, и юзеру по вебсокетам слать статус\результат. Им подошло, пока худо-бедно на запросах без индексов в изначальные требования влазим, будет рост юзеров — будут воркеры разгребать

хайлоад, миллионные нагрузки, все дела: https://yadi.sk/i/VwpIjnIKxL2tWw пару месяцев назад зарелизили, до сих пор не работает :) вот так надо

особенно "жизненные ситуации" порадовали

работал, после этого в nosql очень неохотно захожу. Хотя нагрузки были небольшие. На твоих нагрузках там по ходу дохуллиард захватывающих историй писать можно

а с какими проблемами столкнулся?

особенно "жизненные ситуации" порадовали

там ничё не работает) вообще) я что бы почту подвердить, скрипт писал, который ихз заддосил запросами в надежде, что хоть 1 пройдёт

@knopkod4v

все проблемы которые у нас были - результат кривых рук и того что кто-то не читал нормально доки)

вот именно это

:D

проект в итоге сдали (это была шина между админкой и интернет-магазином с расчетом правил скидок по разным сумасшедшим правилам), но я не знаю дальнейшую судьбу после запуска в продакшен

Салямба всем

как сделать чтобы получить 01 1 2 3 4 13 17 20 ?

через for можно получить?

или do while?

?

Никто не знает чтоли?))

Что это за последовательность?

Надо вывести 0 01 1 2 3 13 15 20 , так сделать чтобы вывести выборочно

например a b c f t r e o

Никто не знает чтоли?))

foreach([‘01’, 1, 2, 3, 4, 13, 17, 20] as $val) { echo $val;} Не благодари

Блин, а я сижу туплю как он эту последовательность получает

foreach([‘01’, 1, 2, 3, 4, 13, 17, 20] as $val) { echo $val;} Не благодари

)))) ok

а если у нас есть например от 0 до 100 , и мы хотим выбрать цифры 0 1 25 29 50 55 ?

то как это сделать?

ERROR: S client not available

print_r([0, 1, 25, 29, 50, 55]);

выбрал

array_filter

ща попробую)

«Что-то более фундаментальное» - например ?

Ещё интересно было бы послушать про декомпозицию. Что такое декомпозиция системы? Для чего нужна декомпозиция? В каки случаях необходимо применять декомпозицию? По каким критериям решать декомпозировать или не декомпозировать? Какие инструменты для декомпозиции существуют? Какие из этих инструментов есть в пхп? По каким критериям выбирать инструменты для декомпозиции? Позитивные и негативные последствия декомпозиции. Вот это вот всё. Желательно с примерами =) Но я подозреваю, что это тоже уже всем неинтересно =\

вопросов на целую книгу назадавал)

вопросов на целую книгу назадавал)

строго говоря я бы предпочёл какой-нибудь лонгрид типа книги(и чтоб даже дуракам типа меня было понятно), а не доклад, да)

Народ, а clickhouse кто-то юзал? Интересует мнение. Хочу складывать в неё события, потом извлекать статистику (аггрегация по разным полям + по связаным таблицам). Задача в том, что бы разгрузить MySQL от тяжёлых выборок. Данные приложения как были так и останутся в MySQL + дополнительно складывать нужные таблицы в clickhouse и по ней уже делать выборки. Ок, не ок? Есть нюансы которые стоит учесть? Вижу php-шную обёртку, меня смущает что она идёт по http. Сильно плохо?)

Почему не касандра?

другие мои... а что такое event sourcing?)

Почему не касандра?

Хз, кликхаус был на слуху, слушал о нём на конференциях, не знал с чем сравнивать.

Хз, кликхаус был на слуху, слушал о нём на конференциях, не знал с чем сравнивать.

Кликхаус и касандра разные штуки, но если тебе агрегации по макетам делать то касандра хорошо вписывается

другие мои... а что такое event sourcing?)

Слабовато накинул

Слабовато накинул

да я серьёзно спрашивал)

ну вот прям совсем серьёзно

обычно, за такую постановку вопроса банят.

обычно, за такую постановку вопроса банят.

У него блат

поэтому я добавил вводное слово "обычно" ?

ну вот прям совсем серьёзно

ну я это буквально понимаю как постоянное хранение эвентов в том виде в котором они приходили))

У него блат

не, я просто дебил и не могу внутри себя сформировать ответ)

Везде коррупция. Даже впохаапе чате

Везде коррупция. Даже впохаапе чате

кумовство, скорее)

Хранение сущности не в виде значения атрибутов, а в виде всех событий, прихошедших с ней с возможностью восстановить состояние сущности на любой момент времени(число событий)

вроде однозначно же?)

или есть "нюансы"?

до жопы)

вся идея вроде тут

даже тут в конце субьевтиные штуки с разными нюансами которые не обязательно делать )

Хранение сущности не в виде значения атрибутов, а в виде всех событий, прихошедших с ней с возможностью восстановить состояние сущности на любой момент времени(число событий)

состояние как leftFold(events)

Типизированным пропертям быть! Ура, товарищи https://wiki.php.net/rfc/typed_properties_v2

даже все за проголосовали.