Constantin
Вот и вспомнил про кролика, и больше узнал про кафку, они как менеджер очередей заточены как раз.
Tadeusz
ты чего, оно горизонталится только в путь
Tadeusz
поднимаю пару десятков контейнеров на амазоне с воркерами и один с редиской под очередь, только успевай терабайты собирать
Tadeusz
была задача грабить с VK, упирался в диски )
Constantin
Constantin
Если узел кластера выпадает, норм?
Constantin
Просто реально, сентинел для меня оказался болью
Tadeusz
Персистентность с сейвом в фоне:)
Tadeusz
😂
Tadeusz
Просто реально, сентинел для меня оказался болью
а не проще ли тебе будет под каждого бота свой редис такой держать?
Tadeusz
мне кажется, это даже дешевле выйдет чем под дохуилиард ботов кафку собирать
Constantin
Инстансов ботов может быть 10-20к и больше
Constantin
Но идею я понял
Tadeusz
долго живут боты?
Constantin
все время
Constantin
Это конечные автоматы, которые из вебпанельки собираются
Constantin
«движок» ботов выполняет то, что насобирали
Constantin
В принципе N ботов можно шардировать
Constantin
То есть можно под шард свой менеджер очередей, не важно, редис это или кролик
Tadeusz
типа 100 ботов в этот редис, 100 в тот, остальные в тот? или что ты имеешь в виду?
Constantin
Ну можно так сделать да, правда я думал 1000 в этот, 1000 в тот
Constantin
Но опять таки, я хочу посмотреть на альтернативы, подумал о кролике несколько дней назад, посмотрел на кафку
Tadeusz
у редиски по умолчанию 10К конектов
Больше сделать не проблема
Редис однопоточен, кстати - если память позволяет, ребята часто поднимают несколько редисов прямо на одном серваре, как раз с репликацией
Хотя это было давно возможно, что-то более удобное намутили.
Tadeusz
https://redis.io/topics/clients
Tadeusz
а по редису, если в память будешь упираться, можно будет какой-нибудь ssdb накатить, у него протокол тоже, только сразу в fs пишет
Anonymous
https://github.com/siddontang/ledisdb
Anonymous
аналог редиса, но на го
Anonymous
в тестах себя неплохо показывал, в прод не потащили
Tadeusz
продакшн-реди?
Anonymous
своих точно не найду, больше года назад было и мы выбрали аэроспайк
Anonymous
https://github.com/siddontang/ledisdb/wiki/Benchmark
Anonymous
но вот что гуглится
Constantin
Tadeusz
ну ко всему нагруженному, написанному на go, рано или поздно приходит сборщик мусора, и ребята потом пилят доклады как у них встал стартап и как они жрали кактусы.
Anonymous
ну про гц забывать не стоит, ага
Constantin
ну ко всему нагруженному, написанному на go, рано или поздно приходит сборщик мусора, и ребята потом пилят доклады как у них встал стартап и как они жрали кактусы.
Неужели у Go настолько прожорливый сборщик мусора, что может что-то колом стать?
Anonymous
кластеры из редиса точно не рекомендовал бы лепить
Sergey
ну ко всему нагруженному, написанному на go, рано или поздно приходит сборщик мусора, и ребята потом пилят доклады как у них встал стартап и как они жрали кактусы.
предлагаю поправить: "_всему_ нагруженному написанному на го..." 😊)))
Tadeusz
Доклад был, поищу)
Anonymous
Неужели у Go настолько прожорливый сборщик мусора, что может что-то колом стать?
не, с ним просто надо уметь обращаться
Anonymous
предлагаю поправить: "_всему_ нагруженному написанному на го..." 😊)))
не соглашусь. если нагрузить говнокод, то никакой язык не поможет
Tadeusz
доклад давно был, пару лет назад, толи яндекс… не помню уже
Anonymous
ну уже в го1.5 он вменяемым стал
Tadeusz
https://youtu.be/pOgAnWfNjms?t=4m14s
Anonymous
гоферы настоящие если есть, пусть рассудят)
Anonymous
сверхбыстрый быстрый GC — паузы не превышают 100 микросекунд на любом размере хипа. Для сравнения STW паузы в net core зависят от настроек GC и размера хипа, и измерены в районе 100 миллисекунд. В 1.9 GC ещё и параллельная сборка мусора добавлена
Вот, про 1.9 нашел
Александр
Tadeusz
Tadeusz
Ну вот, у ребят что-то, не приходит вообще, инсттанс слабый, оперативы мало, go все сжирает и сидит на куче.
... правдо go'шники из них так себе, может как-то явно нужно освообождать, или фреймворк кривой взяли, у них там рест какой-то на go
Constantin
жаль изоморфный стек на Go в вебе не построишь без веб асембли
Anonymous
Anonymous
гц поднастроили, памяти побольше дали, завертелось
Anonymous
ну и опять же, смотря сколько логики напихано
Constantin
Если сжирает оперативу, значит они нахимичили с данными что-то
Anonymous
здесь частные случаи в условиях ограниченных ресурсов могут быть в большом количестве
Constantin
Я на Go не писал особо, но принцип у GC один и тотже в целом, нужно чтобы ссылок не оставалось на объекты
Anonymous
там же ползунки у гц есть вроде как
Anonymous
ну если с жавой сравнивать, то разные гц
Constantin
Вполне можно просрать и утечку сотворить, никакой GC не поможет
Anonymous
в го триколор))
Anonymous
меньше возможностей ногу отстрелить, чем в крестах и яве, больше в голове надо держать, чем в пыхе, если нагрузка небольшая или средняя, небольшие сервера писать - самое оно
Anonymous
но тут вкусовщина и умение готовить, опять же
Yevhenii
Чат, вопрос немного не по теме, а может кто посоветовать графовую БД, из условий, 700кк вершин и где-то 1.5ккк ребер. По этому нужно считать запросы.
G72K
А в чем именно заключаются проблемы побега с RabbitMQ на кафку?
Тем что в общем случае это невозможно :) в Rabbitmq можно запросить и подтвердить конкретное сообщение, а в кафке просто лог событий
🏳️ Phil
Требуется снять меня с ручника. KVM. Ubuntu. Есть выданный публичный IP и два алиаса к нему (из другой подсети). Хочу дать гостю выделенный IP из алиасов. Делаю паблик бридж. Всё норм. Гостю в инсталяшке пишу один из алиасов и... и... и что я ему роутеролм прописываю?
🏳️ Phil
ip: RTNETLINK answers: Network is unreachable
Tadeusz
Алиасы bogon или?
Tadeusz
А forward включен в sysctl?
🏳️ Phil
в чьём?
Tadeusz
В хостовой
🏳️ Phil
А какая разница? Мне гость не даёт прописать роут не в сеть ip
Tadeusz
Пропиши за него)
Tadeusz
В LXC с хетцнером так и делают