> distributed database > mysql at scale through sharding погнали по новой

> distributed database > mysql at scale through sharding погнали по новой

mysql, опять?

mysql, опять?

На kubecon была презентация про Vitess, разработанный в Youtube, который шардит Mysql почти автоматически https://www.youtube.com/watch?v=paOiIkASDjg

Коллега трахался с витессом месяца два. Ещё не в кубере. По-моему ему не понравилось.

У кого-нибудь есть опыт миграции с aws lambda на kubeless? Вообще ризнбл или нет?

У кого-нибудь есть опыт миграции с aws lambda на kubeless? Вообще ризнбл или нет?

если только очень постараться https://github.com/lambci/docker-lambda сейчас лямбду чем деплоиете?

Serverless framework

+ какие интеграции лямбда имеет на стороне aws, dynamodb, sns, s3?

Serverless framework

по идеи он cloud агностик, я его сам использую, но тоже для деплоя в aws

Serverless framework

зависит от того что вы делаете в лямбде, если факториал считаете - то можно перелезть

Serverless framework

а вы сюда заглядывали https://serverless.com/framework/docs/providers/kubeless/ ?

Коллега трахался с витессом месяца два. Ещё не в кубере. По-моему ему не понравилось.

Там конечно есть свои ограничения. Приложение должно о них знать. По словам докладчика - и они довольны в Youtube, и также разработчики Slack хорошо отзываются о Vitess после его внедрения

Спасибо за направление... Буду смотреть насколько глубоко интегоированы лямбды с другими сервисами

Спасибо за направление... Буду смотреть насколько глубоко интегоированы лямбды с другими сервисами

да, собственно это главный вопрос

Хто нмть бзает линкерд?

Там конечно есть свои ограничения. Приложение должно о них знать. По словам докладчика - и они довольны в Youtube, и также разработчики Slack хорошо отзываются о Vitess после его внедрения

У меня сложилось впечатление что у витесса порог вхождения ещё больше чем у кубера:)

Хто нмть бзает линкерд?

прямо с шашлыков пишите? :)

На ходу)

Хто нить юзает линкерд*?

https://pbs.twimg.com/media/DfbNNaOWAAAlNbC.jpg:large

А местные жители не рекоммендуют fluentd

А местные жители не рекоммендуют fluentd

местные жители впрочем и через makefile деплоят поды

местные жители впрочем и через makefile деплоят поды

Правда взамен ничо не предлогают

Logstash толстый, fluentd фу кака...

На kubecon была презентация про Vitess, разработанный в Youtube, который шардит Mysql почти автоматически https://www.youtube.com/watch?v=paOiIkASDjg

https://www.youtube.com/watch?v=ND2kj7oO7Ss

вот правда не понимаю зачем оно

https://www.youtube.com/watch?v=ND2kj7oO7Ss

Раз сделали, значит нужно было :) В докладе спикер рассказывает для чего оно полезно

Коллега трахался с витессом месяца два. Ещё не в кубере. По-моему ему не понравилось.

два это только при тебе

вот правда не понимаю зачем оно

Чтобы у ютуба был собственный опенсорсный продукт, а у других людей была возможность закатывать глаза и говорить "вот ребята с ютуба смогли", апеллируя к классическому аргументу к авторитету.

два это только при тебе

Витесс начался при мне по-моему.

Чтобы у ютуба был собственный опенсорсный продукт, а у других людей была возможность закатывать глаза и говорить "вот ребята с ютуба смогли", апеллируя к классическому аргументу к авторитету.

Люблю я этот агрумент

Раз сделали, значит нужно было :) В докладе спикер рассказывает для чего оно полезно

43 минуты слушать че-то лень

выглядит как попытка накрыть некое легаси костылём в инфраструктуре

но я могу ошибаться)

Мне доклад был интересен, т.к мы в свое время реализовывали подобный "прозрачный" шардинг для Oracle. Это когда наше приложение работало в обычном JDBC режиме с разными sql-запросами, а за JDBC могла быть как одна нода, так и наш кластер. Я в этой сфере не эксперт. Было бы интересно тогда услышать какие есть лучшие связки компонентов для реализации подобного "прозрачного" шардинга.

Есть кто приехал на dockercon, было неплохо поговорить, поделиться так сказать опытом

Пара коллег там. У меня не срослось

Мне доклад был интересен, т.к мы в свое время реализовывали подобный "прозрачный" шардинг для Oracle. Это когда наше приложение работало в обычном JDBC режиме с разными sql-запросами, а за JDBC могла быть как одна нода, так и наш кластер. Я в этой сфере не эксперт. Было бы интересно тогда услышать какие есть лучшие связки компонентов для реализации подобного "прозрачного" шардинга.

но ведь витесс не даёт прозрачного шардинга, приложение должно знать, что оно общается с витесс

а если приложение менять, то значит можно и другие способы шардирования делать

да и зачем нужно это "прозрачное" шардирование, тоже не очень понятно

а если приложение менять, то значит можно и другие способы шардирования делать

В идеале желательно чтобы бд скейлилась "самостоятельно" =)

В идеале желательно чтобы бд скейлилась "самостоятельно" =)

А не много ли ты хочешь?)

В идеале желательно чтобы бд скейлилась "самостоятельно" =)

так есть же дохрена других бд кроме мускуля

Попробуй амазоновские бдшки, если не хочешь заморачиваться со скэйлом

ну почему нельзя помеятать вон постгрес идет в эту сторону

так есть же дохрена других бд кроме мускуля

я из открытых кроме постгреса ничего не воспринмаю =)

если ты именно про SQL то есть тот же самый citus

я из открытых кроме постгреса ничего не воспринмаю =)

postgres очень удачен, но фанатизм – это очень плохо

ну пока альтернатив нет

citus - это тот же постгрес

citus - это тот же постгрес

+1

вроде многое возвращается в апстрим

тот же да не тот же

тот же да не тот же

ну тогда еще XL вспомнить

смотря где и для чего. Я планирую сделать проект на boltdb, по описаниям он прекрасен. Но он специфичный такой. У постгреса катастрофа с инструментами репликации и шардирования, куча самодельных велосипедов и все, с которыми я работал – плохие

ну я про то что реляционки в хайлоадах всё-таки редкость

ну почему нельзя помеятать вон постгрес идет в эту сторону

да сто раз уже обсудили, не придет

boltdb он же встраиваемый вроде

ну тогда еще XL вспомнить

citus долго шли к тому чтобы стать модулем к апстримному постгресу, чего не скажешь про XL

ну я про то что реляционки в хайлоадах всё-таки редкость

есть отличный рассказ о базах данных в исполнении Аксенова. Где он четко описывает, что SQL – это НИКОГДА не про быстродействие

boltdb он же встраиваемый вроде

да, в го

помню доклад фейсбука про их MyRocks

движок мускуля построеный на rocksdb

да сто раз уже обсудили, не придет

Почему? вот в 11 бетки добавили очередные патчи для FDW

но там было много фич которые не работали, например внешние ключи

но фейсбуку foreign key нафиг не нужны и они просто это не делали

но там было много фич которые не работали, например внешние ключи

Во кстати, чем коллектить логи если не fluentd ?

а почему не fluentd?

прочитал в пдф-ке одной что надо мониторить прометеусом а логи собирать fluentd

+ 2 строки

типа fluentd не использую

я честно говоря даже не знаю что у нас сейчас используется

по-моему просто syslog-ng в соседнем контейнере

а как смотрите?

к сожалению кибана

тут картинку сбросили я для себя открыл opentracing

оно не про логи всё-таки

какую картинку?

ну да

но я такие проблемы через логи решал

писал этапы выполнения в лог

https://pbs.twimg.com/media/DfbNNaOWAAAlNbC.jpg:large

Ну эту

а почему не fluentd?

Graylog

что?

Логи graylog писать, так чем fluent не угодил?

а я тут при чём?

Сори не нато ответил

коллега с прошлой работы делал грейлог и упёрся в производительность в районе 40к сообщений в секунду

Во кстати, чем коллектить логи если не fluentd ?

Сюда было, промазал

грейлог это который тольько с вебморды настраивается?

https://www.graylog.org

он ещё и монгу тащит для хранения настроек

Мы beats'ом снимаем, а в него кладём

От монги там немного осталось, выпиливают потихоньку

Зато стабильно и удобно

а в пользу чего, если не секрет?

В эластике хранится часть настроек

Почему? вот в 11 бетки добавили очередные патчи для FDW

Каким образом fdw относится к проблеме масштабирования?

речь шла про шардинг