я думаю, быстрее бредиса не будет ?

при нашем раскладе нагрузки только в канал упираются ?

Дело не только в скорости, это понятно. Хочется меньше костылей и ада конфигурации, но при том, чтобы горизонтально можно было в кластере размазать

Вот и вспомнил про кролика, и больше узнал про кафку, они как менеджер очередей заточены как раз.

ты чего, оно горизонталится только в путь

поднимаю пару десятков контейнеров на амазоне с воркерами и один с редиской под очередь, только успевай терабайты собирать

была задача грабить с VK, упирался в диски )

поднимаю пару десятков контейнеров на амазоне с воркерами и один с редиской под очередь, только успевай терабайты собирать

А как HA данных?

Если узел кластера выпадает, норм?

Просто реально, сентинел для меня оказался болью

Персистентность с сейвом в фоне:)

?

Просто реально, сентинел для меня оказался болью

а не проще ли тебе будет под каждого бота свой редис такой держать?

мне кажется, это даже дешевле выйдет чем под дохуилиард ботов кафку собирать

Инстансов ботов может быть 10-20к и больше

Но идею я понял

долго живут боты?

все время

Это конечные автоматы, которые из вебпанельки собираются

«движок» ботов выполняет то, что насобирали

В принципе N ботов можно шардировать

То есть можно под шард свой менеджер очередей, не важно, редис это или кролик

типа 100 ботов в этот редис, 100 в тот, остальные в тот? или что ты имеешь в виду?

Ну можно так сделать да, правда я думал 1000 в этот, 1000 в тот

Но опять таки, я хочу посмотреть на альтернативы, подумал о кролике несколько дней назад, посмотрел на кафку

у редиски по умолчанию 10К конектов Больше сделать не проблема Редис однопоточен, кстати - если память позволяет, ребята часто поднимают несколько редисов прямо на одном серваре, как раз с репликацией Хотя это было давно возможно, что-то более удобное намутили.

https://redis.io/topics/clients

а по редису, если в память будешь упираться, можно будет какой-нибудь ssdb накатить, у него протокол тоже, только сразу в fs пишет

https://github.com/siddontang/ledisdb

аналог редиса, но на го

в тестах себя неплохо показывал, в прод не потащили

продакшн-реди?

в тестах себя неплохо показывал, в прод не потащили

а бенчи есть какие-нибудь?

своих точно не найду, больше года назад было и мы выбрали аэроспайк

https://github.com/siddontang/ledisdb/wiki/Benchmark

но вот что гуглится

у редиски по умолчанию 10К конектов Больше сделать не проблема Редис однопоточен, кстати - если память позволяет, ребята часто поднимают несколько редисов прямо на одном серваре, как раз с репликацией Хотя это было давно возможно, что-то более удобное намутили.

А если машина выпадет?

ну ко всему нагруженному, написанному на go, рано или поздно приходит сборщик мусора, и ребята потом пилят доклады как у них встал стартап и как они жрали кактусы.

ну про гц забывать не стоит, ага

ну ко всему нагруженному, написанному на go, рано или поздно приходит сборщик мусора, и ребята потом пилят доклады как у них встал стартап и как они жрали кактусы.

Неужели у Go настолько прожорливый сборщик мусора, что может что-то колом стать?

кластеры из редиса точно не рекомендовал бы лепить

ну ко всему нагруженному, написанному на go, рано или поздно приходит сборщик мусора, и ребята потом пилят доклады как у них встал стартап и как они жрали кактусы.

предлагаю поправить: "_всему_ нагруженному написанному на го..." ?)))

Доклад был, поищу)

Неужели у Go настолько прожорливый сборщик мусора, что может что-то колом стать?

не, с ним просто надо уметь обращаться

предлагаю поправить: "_всему_ нагруженному написанному на го..." ?)))

не соглашусь. если нагрузить говнокод, то никакой язык не поможет

доклад давно был, пару лет назад, толи яндекс… не помню уже

ну уже в го1.5 он вменяемым стал

https://youtu.be/pOgAnWfNjms?t=4m14s

ну уже в го1.5 он вменяемым стал

не могу спорить, не силен)

гоферы настоящие если есть, пусть рассудят)

сверхбыстрый быстрый GC — паузы не превышают 100 микросекунд на любом размере хипа. Для сравнения STW паузы в net core зависят от настроек GC и размера хипа, и измерены в районе 100 миллисекунд. В 1.9 GC ещё и параллельная сборка мусора добавлена Вот, про 1.9 нашел

https://youtu.be/pOgAnWfNjms?t=4m14s

интересный доклад

интересный доклад

Да, хоть и старый

сверхбыстрый быстрый GC — паузы не превышают 100 микросекунд на любом размере хипа. Для сравнения STW паузы в net core зависят от настроек GC и размера хипа, и измерены в районе 100 миллисекунд. В 1.9 GC ещё и параллельная сборка мусора добавлена Вот, про 1.9 нашел

Время не стоит на месте

Ну вот, у ребят что-то, не приходит вообще, инсттанс слабый, оперативы мало, go все сжирает и сидит на куче. ... правдо go'шники из них так себе, может как-то явно нужно освообождать, или фреймворк кривой взяли, у них там рест какой-то на go

жаль изоморфный стек на Go в вебе не построишь без веб асембли

Ну вот, у ребят что-то, не приходит вообще, инсттанс слабый, оперативы мало, go все сжирает и сидит на куче. ... правдо go'шники из них так себе, может как-то явно нужно освообождать, или фреймворк кривой взяли, у них там рест какой-то на go

у нас на чахлых виртуалках микросервисы тоже дохли

гц поднастроили, памяти побольше дали, завертелось

ну и опять же, смотря сколько логики напихано

Если сжирает оперативу, значит они нахимичили с данными что-то

здесь частные случаи в условиях ограниченных ресурсов могут быть в большом количестве

ну и опять же, смотря сколько логики напихано

Это да

Я на Go не писал особо, но принцип у GC один и тотже в целом, нужно чтобы ссылок не оставалось на объекты

там же ползунки у гц есть вроде как

ну если с жавой сравнивать, то разные гц

Вполне можно просрать и утечку сотворить, никакой GC не поможет

ERROR: S client not available

в го триколор))

меньше возможностей ногу отстрелить, чем в крестах и яве, больше в голове надо держать, чем в пыхе, если нагрузка небольшая или средняя, небольшие сервера писать - самое оно

но тут вкусовщина и умение готовить, опять же

Чат, вопрос немного не по теме, а может кто посоветовать графовую БД, из условий, 700кк вершин и где-то 1.5ккк ребер. По этому нужно считать запросы.

А в чем именно заключаются проблемы побега с RabbitMQ на кафку?

Тем что в общем случае это невозможно :) в Rabbitmq можно запросить и подтвердить конкретное сообщение, а в кафке просто лог событий

Требуется снять меня с ручника. KVM. Ubuntu. Есть выданный публичный IP и два алиаса к нему (из другой подсети). Хочу дать гостю выделенный IP из алиасов. Делаю паблик бридж. Всё норм. Гостю в инсталяшке пишу один из алиасов и... и... и что я ему роутеролм прописываю?

Требуется снять меня с ручника. KVM. Ubuntu. Есть выданный публичный IP и два алиаса к нему (из другой подсети). Хочу дать гостю выделенный IP из алиасов. Делаю паблик бридж. Всё норм. Гостю в инсталяшке пишу один из алиасов и... и... и что я ему роутеролм прописываю?

Физ машину?

Физ машину?

Так сеть не та

Так сеть не та

Пох

ip: RTNETLINK answers: Network is unreachable

Алиасы bogon или?

А forward включен в sysctl?

в чьём?

В хостовой

А какая разница? Мне гость не даёт прописать роут не в сеть ip

Пропиши за него)

В LXC с хетцнером так и делают

Блин. Он не даёт прописать

ip: RTNETLINK answers: Network is unreachable

Хостовая тачка? Да гонево

Гость

up route add -host 138.201.42.196 dev br0

В хостовой подписывал так алиасы под LXC

Да причем тут хост

При том что твой бридж не знает куда ходить

Да причем тут мой бридж

Я пока застрял на том, что в госте писать

На хосте маршрут, у гостя гетевей хост

Так. Как на госте прописать гейтвей на хост?

Он не дает

также как артем сказал

сначала ему роут