
Ivan
15.10.2016
22:15:34
от затейник

Alexander
15.10.2016
22:16:05

Ivan
15.10.2016
22:16:26
нет, я к тому что ты хочешь один контейнер вместо двух

Alexander
15.10.2016
22:16:28
но речь тут о другом)

Google

Alexander
15.10.2016
22:16:42
ну это просто чтобы красивее было))

Ivan
15.10.2016
22:16:49
так красиво все

Alexander
15.10.2016
22:17:03
мне почему-то кажется, что когда нет задач раздачи статики, то nginx тут без толку

Ivan
15.10.2016
22:17:23
для развлечения покэшируй ответы пхп :)

Alexander
15.10.2016
22:17:23
он нужен чтобы php-fpm подружить с https/2
не более того

Ivan
15.10.2016
22:18:05
ну вот, юникс вей. каждый софт делает то что должен, один процессит пхп, второй терминирует ссл и чо там еще нужно

Alexander
15.10.2016
22:54:58
просто мне казалось , что тот факт, что там это общение php-fpm и nginx едёт через 9000 порт какой-то, это всё замедляет, и что быстрее было бы, если бы была один единый сервер, который бы умел и php и http/2, что, например, uWSGI с php-плагином может потягаться тут со связкой nginx+php-fpm... думал, может, кто-то тесты нормальные проводил

Ivan
15.10.2016
22:55:23
да не сильно быстрее
тем более оно локально все гоняет

Denis
15.10.2016
23:21:00
Огонь)
Оказывается, Twitch активно использует PostgreSQL - более 125 хостов только под него. В своем блоге они опубликовали историю того как они масштабируют postgres на несколько регионов в Амазоне.
https://blog.twitch.tv/how-twitch-uses-postgresql-c34aa9e56f58
#twitch #postgresql #postgres #amazon #aws

Alexander
15.10.2016
23:25:27

Google

Vladimir
15.10.2016
23:37:47
Вот еще интересное, но на 4 часа просмотра
Яндекс опубликовал серию докладов о своей инфраструктуре:
Краткое содержание:
https://youtu.be/9ANuWEZqCUg?t=592 - Рассказ про Яндексовый MapReduce
https://youtu.be/9ANuWEZqCUg?t=4454 - Рассказ про декларативный язык для MapReduce (и не только)
https://youtu.be/9ANuWEZqCUg?t=9401 - Рассказ про ClickHouse (теперь уже OpenSource база данных для различных задач в области Real-Time аналитики)
https://youtu.be/9ANuWEZqCUg?t=13555 - Storage в Яндексе (на примере архитектуры Яндекс.Диска).
#Yandex #ClickHouse #Infrastructure #Storage #MapReduce

Dmitrii
15.10.2016
23:45:54
"TL;DR" нету для видео?

Constantine
15.10.2016
23:47:40
я первые два онлайн смотрел, там нельзя tl;dr сделать )

Vladimir
15.10.2016
23:47:57
про кликхаус - если интересует аналитика то стоит к нему присмотреться - он быстр и масштабируем.

Constantine
15.10.2016
23:48:36
плюсую. я для маленькой подделки юзаю в проекте

Vladimir
15.10.2016
23:48:41
потому что там C++, с ассемблерными вставками и всякое такое.

Constantine
15.10.2016
23:49:05
ну там много всего )
сама БД колоночная

Vladimir
15.10.2016
23:49:15
ну да

Constantine
15.10.2016
23:49:22
только дописывание и чтение

Dmitrii
15.10.2016
23:49:24
А что тест aphyr говорит про click house?

Vladimir
15.10.2016
23:49:30
колоночная БД со сжатием, очень сильно оптимизированная под чтение.

Dmitrii
15.10.2016
23:49:45
Плохо ?

Constantine
15.10.2016
23:50:47
плохо не плохо, а опенсорс и бесплатно = гуд
моя табличка на 50 млн строк с лайк запросами в мускуле умирала, я успевал кофе сварить в гейзерной кофеварке. в кликхаусе за пару секунд

Vladimir
15.10.2016
23:51:50
Плохо ?
база молодая, а чувак один тест делает от 3 до 12 недель только
так что может через полгоода чо-нить будет

Google

Vladimir
15.10.2016
23:52:02
если ему кто-нибудь ее подсунет

Constantine
15.10.2016
23:52:14
рано или поздно, будет, ага

Vladimir
15.10.2016
23:52:18
(т.е. база недавно в опенсорсе)

Dmitrii
15.10.2016
23:52:26
Не пробовал в постгрес записать с gin индексом?

Vladimir
15.10.2016
23:52:41

Constantine
15.10.2016
23:52:55
не успел, переезжать с мускуля на посгрес в работающем приложении. где фичи наращиваются — трудновато

Vladimir
15.10.2016
23:52:56
потому что оптимизация под аналитику

Constantine
15.10.2016
23:53:05
и да, оно будет точно быстрее

Dmitrii
15.10.2016
23:53:09
Это Константину было. Про мускуль

Constantine
15.10.2016
23:54:06
тем не менее. колоночная БД в разы шустрее для аналитики, чем реляция
как минимум пощупать стоит :D
тем более, они недавно jdbc выкатили, теперь модные аналитик тулзы можно юзать

Dmitrii
15.10.2016
23:54:45

Constantine
15.10.2016
23:55:06

Dmitrii
15.10.2016
23:55:49
Ну т.е. мне из этого сообщения было не ясно какая задача с табличкой в 50млн строк

Constantine
15.10.2016
23:58:17
умею воду лить, видишь :D на самом деле, достаточно знать, что mysql умирал, кликхаус летает) если говорить про детали, там сбор трекинг информации с интернет магазинов и вывод оценки эффективности (% продаж, % дохода) из-за внедрения одного инструмента. тормозящее место были LIKE запросы на URL поля и вложенные запросы, когда делал поиск точек входа, выхода, захват "содержимого" корзины покупателя

Dmitrii
15.10.2016
23:59:33
Даже интересно, как бы тут постгрес работал

Constantine
15.10.2016
23:59:49
пока на R&D нет времени )

Dmitrii
16.10.2016
00:00:07
Скинь мне дамп)

Constantine
16.10.2016
00:00:15
проект начинался 2 года назад, тогда mysql выбрал по привычке. если бы сейчас начинал делать, то взял бы pgsql

Google

Constantine
16.10.2016
00:00:41
не дам :D клиент трепетно относится к данным своих клиентов

Dmitrii
16.10.2016
00:00:54
Ну деперсонализируй

Constantine
16.10.2016
00:01:06
лень ?

Pavel
16.10.2016
00:01:29

Constantine
16.10.2016
00:01:50
желание спать, когда баги полезут :D

Dmitrii
16.10.2016
00:01:58

Pavel
16.10.2016
00:02:39
Просто я в августе перевел бд на 400гб с mysql на постгрес
Все живо

Constantine
16.10.2016
00:02:57
задачи переезда нет, есть задачи по дальнейшему развитию продукта. зачем тратить время на то, что сейчас не нужно? FFF все дела )

Admin
ERROR: S client not available

Constantine
16.10.2016
00:04:08
ну БД перевезти это одно дело, если будут из-за моей кривомозгости и мягкого режима mysql (а вполне возможно там есть такое) будут проблемы на обкатке кода, то это будет больше, чем переезд БД. приемочных тестов у меня нет, в паре мест юниты висят
ну то есть как сказал Дима, для всего должна быть причина )

Dmitrii
16.10.2016
00:04:28
А а кликхаусе же нет рекурсивных запросов и cte?

Constantine
16.10.2016
00:05:48
хммм, интересный вопрос
потребности не было, а в документации такого не нашел

Dmitrii
16.10.2016
00:06:16
Как же без них жить

Constantine
16.10.2016
00:06:37
?

Dmitrii
16.10.2016
00:07:00
Почитай как это работает в пг.
Может еще и выкинешь свой кх

Constantine
16.10.2016
00:07:20
?

Google

Constantine
16.10.2016
00:07:26
но зачем?)
если он перестанет выполнять требования, которые нужны. то появятся мысли про смену субд

Dmitrii
16.10.2016
00:08:10
Ну так ведь если аналитик ебется писать запрос день, а результат дает за минуту, то нахер такая база нужна?

Constantine
16.10.2016
00:08:30
у меня он не за минуту выдает )

Dmitrii
16.10.2016
00:08:36
В смысле, не говорю что кх отстой. Просто надо не только этот критерий учитывать

Constantine
16.10.2016
00:08:58
в моем случае со скоростью у кх все ок
поэтому он дальше живет )

Dmitrii
16.10.2016
00:09:28
А со скоростью написания запросов к нему? ?

Constantine
16.10.2016
00:10:06
они написаны и люди нажимают на ссылочки
я про jdbc сказал, потому что его выкатили. раньше его не было) товарищ из одной конторы на кликхаус начал смотреть после того, как вышел именно jdbc, у них аналитики юзают спец тулзы для построения отчетов
сейчас вроде как используют вертику и выходит в копеечку

Dmitrii
16.10.2016
00:11:45
Да, она дорогая песец

Pavel
16.10.2016
00:11:46
Под кх есть jdbc?

Constantine
16.10.2016
00:12:06
ага
https://github.com/yandex/clickhouse-jdbc

Pavel
16.10.2016
00:12:09
Надо будет потыкать

Constantine
16.10.2016
00:12:51
посмотреть как минимум стоит) можешь потом Диме рассказать про разницу с посгрессом ))
про скоростя
ну а про доклады яндекса. возможно кликхаус стоит посмотреть и яндекс диск. первые два доклада очень специфичны. первые два офигенны тем, что осознание наступает — в яндексе по ходу сидят лучшие умы по БД, которые все еще в РФ
по БД, это те, кто своё пишет :D

Dmitrii
16.10.2016
00:15:06
Но ведь команда О. Бартунова еще не там ?

Constantine
16.10.2016
00:15:49
ну ага, но у них зоопарк по технологиям ведь )