Dmitry
ну ведь кафка быстрая
я с кафкой плохо знаком. Но поскольку она про отправку сообщений, я бы не стал использовать ее как базу данных.
Sergei
а значит можно читать и писать
Sergei
а если так, то это база данных
Dmitry
а если так, то это база данных
Так в базе надо же еще хранить как правило, и не временно
Alexander 🐕
Так в базе надо же еще хранить как правило, и не временно
А что мешает в кафке хранить постоянно?
Alexander 🐕
Там даже ksql есть
Alexander 🐕
Храни - не хочу
Nick
считаю такие вопросы на интервью идиотскими
Я бы предпочёл формулировку «во сколько нам обойдётся...» - тут уже можно интересно пообщаться
Nick
Но так срач не начнётся.
Pavel
И бекапить кафку легко! Отличная бд!
Alexander 🐕
Да там вообще все легко
Alexander 🐕
Данные туда-сюда мигрируют свободно
Kirill
ну вы и тролли
Alexander 🐕
нет, я думаю, что нутаникса нет
Ты будешь вызван в суд за эти слова
Михаил
Я за все хорошее и против всего плохого
Посоветуй книжку для желающих вкатиться в кложуру
Dmitriy 🇷🇺🇬🇪🇪🇸
А ты хорош
Михаил
Любая книга Саши Шульгина
Я думал это для продвинутых
Dmitriy 🇷🇺🇬🇪🇪🇸
Это пререквизит :))
Aleksey
Alexander 🐕
а у тя чем суд кончился?
Судьи яйцами трясут - три года, три года, три года
Alexey
че там, какие сегодня новости про db2? @sanyo_devops
Прочитал как санный_девопс, подсознание что ты делаешь…
Aleksey
+1
Евгений
Прочитал как санный_девопс, подсознание что ты делаешь…
Я изначально думал, что это ссаный девопс, если честно
Евгений
Эдакая самоирония. Но, честно говоря, сейчас человек не кажется склонным к самоиронии
Sergei
Любая книга Саши Шульгина
он вроде только две написал и не совсем про кложу...
Михаил
Sergei
ну маам
книжки Шульгина и правда можно
Михаил
они долго держат
Aleksey
вы такие умные все
Dmitriy 🇷🇺🇬🇪🇪🇸
они долго держат
Не все, для этого и книги
🏳️ Phil
Бесплатный вебинар «Все для быстрого старта проекта на Managed-базах данных» от Mail․ru Cloud Solutions Часто уже на самом старте проекта важно определиться с типом СУБД и учесть нюансы архитектуры решения. Для отдельных компаний важно, чтобы данные оставались неизменными и воспроизводились в первозданном виде, для других проектов нужны БД, которые помогут справиться с периодом пиковых нагрузок. На вебинаре от MCS вас ждет вводный курс по Managed СУБД: вы получите базовую информацию о работе с облачными базами данных и узнаете, как выбрать инструмент в зависимости от особенностей ИТ-инфраструктуры и специфики задач. Мероприятие пройдет во вторник, 27 апреля, онлайн. Начало в 17:00 по Москве. Бесплатно Регистрация по ссылке: https://vk.cc/c0Uqyi
Dmitry
@sanyo_devops тебя как у DBA хочу спросить Есть два бэкенда которые пишут данные в одну СУБД (mognodb), но в разные базы. Данные разные, друг от друга не зависят. Инстанс СУБД это три сервера в replicaSet (в терминах mongo) Хочу для одного из этих бэкендов поднять отдельный mongodb сервер (отдельный replicaSet) с копией базы и переключить этот бэкенд на него безшовно. То есть просто хочу банально вынести базу на другой replicaSet без простоя и потери данных. Такие выкрутасы в mysql/postgresql проходят без проблем. Поднимаем реплику, ждем когда догонит. Переключаем бэкенд на реплику PROFIT. Дальше можно отключить репликацию и удалить данные на старой базе. А вот c mongodb не могу придумать как это сделать без простоя. Пока у меня план такой: 1) Поднять еще один сервер с mongo, и подключить его в текущий replicaSet четвертым участником. 2) Дождаться когда на него прилетят все данные. 3) отключить бэкенд 4) Отключить новый mongo сервер от replicaSet и перевести его в standalone режим 5) Переключить бэкенд на новый mogno сервер и запустить. 6) Удалить данные на старом mongoDB сервере в моем случае это данные из коллекций с полем "backend":2 ну или просто базу данных, если backend имел отдельную базу По идее других путей у меня нет? Или есть какие-то хитрости, которые позволили бы мне сделать это без отключения бэкенда на время пока поднимем новую базу? Склоняюсь к тому что придется писать свою реализацию репликации, хотя вот либу на go нашел (https://github.com/whhe/mongo-replicator). Но может есть способ по проще?
Pavel
@sanyo_devops тебя как у DBA хочу спросить Есть два бэкенда которые пишут данные в одну СУБД (mognodb), но в разные базы. Данные разные, друг от друга не зависят. Инстанс СУБД это три сервера в replicaSet (в терминах mongo) Хочу для одного из этих бэкендов поднять отдельный mongodb сервер (отдельный replicaSet) с копией базы и переключить этот бэкенд на него безшовно. То есть просто хочу банально вынести базу на другой replicaSet без простоя и потери данных. Такие выкрутасы в mysql/postgresql проходят без проблем. Поднимаем реплику, ждем когда догонит. Переключаем бэкенд на реплику PROFIT. Дальше можно отключить репликацию и удалить данные на старой базе. А вот c mongodb не могу придумать как это сделать без простоя. Пока у меня план такой: 1) Поднять еще один сервер с mongo, и подключить его в текущий replicaSet четвертым участником. 2) Дождаться когда на него прилетят все данные. 3) отключить бэкенд 4) Отключить новый mongo сервер от replicaSet и перевести его в standalone режим 5) Переключить бэкенд на новый mogno сервер и запустить. 6) Удалить данные на старом mongoDB сервере в моем случае это данные из коллекций с полем "backend":2 ну или просто базу данных, если backend имел отдельную базу По идее других путей у меня нет? Или есть какие-то хитрости, которые позволили бы мне сделать это без отключения бэкенда на время пока поднимем новую базу? Склоняюсь к тому что придется писать свою реализацию репликации, хотя вот либу на go нашел (https://github.com/whhe/mongo-replicator). Но может есть способ по проще?
mongomirror?
Dmitry
mongomirror?
опа не нагуглил такого. Пасибо потыкаю
Pavel
с ним поидее без даунтайма свичнешься
Dmitry
mongomirror?
а оно может постоянно реплицировать какое-то время, чтобы пока бэкенды перезапускаются c переключением на новый mongodb, запросы еще работающих бэкендов и пишуших в старый записались и попали на новый?
Pavel
судя по докам да оно инитит бекап, а потом реплеит лог транзакций. но я не пробовал, буду признателен если расскажешь потом )
Aleksey
https://t.me/mongodb_ru
Dmitry
чатик есть правильный про монгу в телеге
ты не поверишь. Там не могут ответить =). Там в основном про то как зафигачить запрос в aggregate pipeline =)
Dmitry
судя по докам да оно инитит бекап, а потом реплеит лог транзакций. но я не пробовал, буду признателен если расскажешь потом )
After the initial sync, mongomirror continuously tails the replica set's oplog for incoming changes and replays them on the target cluster in MongoDB Atlas. Главное чтобы destination можно было выбрать другой инстанс mongodb а не только Atlas, и по идее взлетит
Pavel
а атлас - это платная монга или чо?
Dmitry
а атлас - это платная монга или чо?
хз, это вроде че-то их там облачное. Ну платное точно, но не self hosted вроде
#mustofa (shokhijakhon)
Я пытался больше пяти часов, но мне не удавалось запустить мои coredns ребята, не могли бы вы помочь мне решить эту проблему
#mustofa (shokhijakhon)
#mustofa (shokhijakhon)
Dmitry
такчо, щюпал эту штуку?
пока нет. У меня не горит =)
Pavel
ыыы, ато интересна
Aleksey
Конечно. Попробуй купить графану
Aleksey
А успел грохнуть сообщение
Alexander
А успел грохнуть сообщение
Проще училку нанять, но зачем.
Aleksey
Дак живые люди которые хотят с тобой общаться совершенно бесплатно
Pavel
https://t.me/AwesomeKafka_ru/174
Pavel
полез зырить чо там в кликхаусе
Alexander
Alexander
Еще учить и учить.
Valeriy
#вакансия #москва #devops #linux #windows #cicd #nexus #docker #openshift #grafana #gitlab #bitbucket #удаленно #полнаязанятость DevOps-инженер Middle - Senior Иннотех Формат работы: удаленно Занятость: полная Оклад: 180k - 250k gross для Middle | 260k - 320k gross для Senior Откликнуться: Валерий Гребенюк, @vgrebenyuk Чем ты будешь заниматься: - Построение CI/CD для внедрения математических моделей; - Построение отказоустойчивой инфраструктуры для высоконагруженных приложений; - Настройка мониторинга и оповещений, автоматизация мониторинга; - Взаимодействие с командой ModelOps (разработчики/тестировщики); - Документирование процессов ModelOps; - Решение R&D задач; - Работа в Agile-команде. Ожидаем от кандидата: - Опыт работы с кластером Hadoop (желательно); - Уверенные знания администрирования Linux и Windows серверов; - Опыт работы с CI/CD (TeamCity, Gitlab и др.); - Опыт работы с системами контроля версий (Bitbucket, Git и др.); - Опыт работы с хранилищем артефактов (Nexus и др.); - Опыт работы с корпоративными хранилищами данных и понимание принципов их построения; - Опыт проектирования баз данных и распределенных приложений; - Опыт работы с Docker и платформами контейнеризации (OpenShift); - Опыт работы с инструментами мониторинга (Grafana); - Понимание принципов автоматизированного тестирования. Будет плюсом: - Опыт работы с другими инструментами BigData и DevOps (elastic search, fluentd, nginx, kafka, jupyterhub и др.); - Опыт программирования на Python, Scala/Java, Apache Spark; - Опыт работы с СУБД noSQL. Мы предлагаем: - Оформление по ТК РФ, полностью официальная заработная плата; - Бессрочный трудовой договор; - Участие в долгосрочном и масштабном проекте; - Удаленный формат работы для кандидатов из Москвы, Санкт-Петербурга, Самары, Нижнего Новгорода, Новосибирска, Тюмени, Иннополиса, Ижевска; - Помощь с переездом и предоставление релокационного бонуса; - Пакет льгот для сотрудников от наших партнеров: ДМС, зарплатный проект, льготное кредитование и страхование; Корпоративные скидки на спорт, серфинг, английский.
🏳️ Phil
У меня ежеполугодовой вопрос - а в minio уже можно влить пару лямов файлов? а пару DVD?
Alexander 🐕
Но я бы рекомендовал перед этим вдумчиво почитать документацию
🏳️ Phil
Пару лямов файлов - да
Т.е. они избавились от одного большого json на корзинку?
Alexander 🐕
Alexander 🐕
Т.е. они избавились от одного большого json на корзинку?
А, это я фиг его знает, возможно, не избавились
🏳️ Phil
А, это я фиг его знает, возможно, не избавились
Ну это просто его выкладывало в каких-то смешных инсталяциях
Pavel
У меня ежеполугодовой вопрос - а в minio уже можно влить пару лямов файлов? а пару DVD?
Вроде избавились, но заказчики предпочитают решения без "вроде")
Pavel
Хто богатые минио юзает?
Sergei
Хто богатые минио юзает?
я слышал Амазон работает на сефе
Pavel
я слышал Амазон работает на сефе
Я слышал что гугол своё написал. Про минио в проде есть чо, с миллиардом объектов?)