« Rev
@ru_devops   466
Fwd »


ns_support
Но ведь на уровне ФС это делать наиболее правильно
Согласен, сам хотел бы использовать zfs, но пока это не мейнстрим 😊
Aleksey
что может быть проще rsync-а? ))
штуки которые умеют на уровне базы понимать какие страиницы загружать. pg_rewind как раз пример.
Nick
это не совсем для нашего кейса
Nick
не забудь - на тесте УЖЕ изменялись блоки
Nick
после того, как мы его отпочковали.. в оракле есть механизм snapshot standby как раз для тестовых баз, который позволяет сделать rollback всех изменений и начать катить логи с того момента, как мы перевели базу в этот режим... есть ли такое в пг? вроде нету
Nick
да и почти всегда проще выкатить новую базу, чем делать рекавери за неделю.. ну если база меньше террабайта
Nick
и в ней идет активная работа
Aleksey
тогда да. выглядит хорошо.
Aleksey
еще вариант возможны когда у вас вся база лежит на вендорной схд
Aleksey
у нетапа бывают снапшоты доступные на запись. и они педалируют как раз такой кейс. форки большой бд для работы у прогеров
Aleksey
не уверен что они единственные такое делают но нас они этим кейсом здорово зацепили. и на момент 2014-15-ого другие вендоры сливались по rw снапшотам.
Aleksey
впрочем программисты всё равно оказались в меньшенстве и взяли не нетап.
Navern
База занимает 200гб
Вы бэкапы не делаете?
ns_support
Вы бэкапы не делаете?
Бекапы делаем через barman, но от туда что то поднимать для теста это оч. долго.
Navern
Понял
ns_support
еще вариант возможны когда у вас вся база лежит на вендорной схд
Такого нету к сожалению. Сервера самые обычные.
Aleksey
может и не к сожалению...
G72K
Настраиваю PostgreSQL для тестового сервера, нужно чтобы данные на нем были реальные и относительно свежие. Подход такой 1. Реплицируем с мастер сервера на слейв 2. Со слейва еще раз реплицируем на тестовый сервер Т.е. всего 3 инстанса pg 3. На тестовом сервере когда надо выключаем режим реплики в БД, она становится доступна на запись. 4. Проводим тесты, останавливаем тестовую БД 5. Делаем rsync папки с БД со слейва в тестовую БД (ну или pg_basebackup, тогда тестовую бд придется удалить) 6. Все БД опять синхронизирована. Мой подход правильный? Можно проще сделать тоже самое? Делать такое нужно будет допустим раз в неделю.
Вобщем, рассказываю наркоманство, но оно реально работало. Смысл - не комитить из тестов вообще ничего. Вначале test suite открываем транзакцию, перед каждым тестом ее rollback. Там внутри еще точки сохранения можно делать, это конечно не вложенные транзакции, но тоже сойдет. В итоге вам тестовый сервер ресинкать не надо вообще никогда.
Pavel
огонь!
Dmitrii
Какой то боян рассказал
Dmitrii
А ну да, это же канал девопсов а не разработчиков)
Pavel
Только вот это вообще совсем не работает в случае ручных тестов
Pavel
А автоматизированные тесты и так надо запускать не на 200 гиговой базе а на нескольких строчек фикстур
ns_support
Еще такой вопрос, как вы деплоете докерезированные приложения состоящие из нескольих частей на продакшен сервер? То что docker compose up или docker stack deploy это понятно, это все работает, тут вопросов нет. Но не руками же в консоле сервера это делать... Кроме того там все равно набор из команд, типа стянуть образы с режистри, опустить приложение, поднять, почистить за собой Возможно мой предыдущий опыт мне мешает 😊. Но есть желанее запускать команду деплоя на локальном компе. Я сейчас использую Capistrano для этого, но постепенно отказываюсь в сторону CI/CD для развертывания приложения. Но все равно какие последовательности тасков для обслуживания приложения было бы удобно запускать на локальной машине, чтобы они допустим через SSH выполнились на сервере. Мое подсознательное желание запускать деплой с локальной машины это пережиток прошлошо? 😊 Какими инструментами вы пользуетесь?
Nazar
ansible\saltstack
Kirill
Еще такой вопрос, как вы деплоете докерезированные приложения состоящие из нескольих частей на продакшен сервер? То что docker compose up или docker stack deploy это понятно, это все работает, тут вопросов нет. Но не руками же в консоле сервера это делать... Кроме того там все равно набор из команд, типа стянуть образы с режистри, опустить приложение, поднять, почистить за собой Возможно мой предыдущий опыт мне мешает 😊. Но есть желанее запускать команду деплоя на локальном компе. Я сейчас использую Capistrano для этого, но постепенно отказываюсь в сторону CI/CD для развертывания приложения. Но все равно какие последовательности тасков для обслуживания приложения было бы удобно запускать на локальной машине, чтобы они допустим через SSH выполнились на сервере. Мое подсознательное желание запускать деплой с локальной машины это пережиток прошлошо? 😊 Какими инструментами вы пользуетесь?
Посмотри на системы управления конфигурациями, выбери наиболее подходящую под твои задачи. И деплой как тебе удобно. Для сборки посмотри на Gitlab CI/Jenkins. Ansible, кстати, удовлетворит твоё подсознательное желание деплоить с локальной машины например.
Aleksey
довольно извращенное впрочем желание.
Kirill
Ну, когда ты один, почему бы не деплоить со своей машины?
Aleksey
он как мы уже знаем не один
Kirill
А, я упустил этот момент.
Mentat
Ну, когда ты один, почему бы не деплоить со своей машины?
Потом переезжаем плейбуки на отдельный хост и пускаем их из CI)
Aleksey
да вариант с бастионом с которого пускаются плейбуки предпочтителен таки
Aleksey
там проще организовать аудит и вот это вот всё
ns_support
довольно извращенное впрочем желание.
Ну а какой правильный подход?
Aleksey
ну почему деплоить со своей машины тут я думаю не надо объяснять ? а праивльно деплоить так что бы было "комфортно системе" и на запаривало админа.
Aleksey
вариантов тут придумали много. всё зависит от потребоностей и забюрактизированности
Mentat
Да, gitlab CI уже использую для сборки имиджей, надо только деплоймен будет прикрутить
Ну и возьми ansible/salt/chef что ближе скилам и пускай из gitlab ci
Denis
Ребят, а кто то занимался вопросом изучения выского времени dnslookup на клиентской стороне ?
Mentat
Ребят, а кто то занимался вопросом изучения выского времени dnslookup на клиентской стороне ?
dns cdn в целом спасут родину. В частности ради 0,1% каких-то клиентов этот вопрос заморачивать обычно смысла нет
ns_support
Потом переезжаем плейбуки на отдельный хост и пускаем их из CI)
Ansible смотрел, думаю пока, но особых преимуществ перед Capistrano, которым пользуюсь сейчас не вижу. И тот и тот по сути не нравится 😊 Понимаю что вкусовщина конечно ☺️ Спасибо
Nklya
Ansible хорош в том плане что он простой и много кто его знает. Проще совместно работать.
Aleksey
чем дольше я во всём этом кручусь тем больше понимаю что нужен и условный паппет и условный ансибл. но оба вообще они не нужны. ибо кубер.
🏳️ Phil
кубер дохуя громоздкий чета
Aleksey
фил кубер тебе не нужен
Aleksey
ты как бы вендор. а он как бы делает вендорагностик.
🏳️ Phil
да я не про себя. а вообще. это такой порог, когда легче ansible и puppet вместе
Aleksey
так что вы конкуренты
Alexander
Привет всем! Народ, а кто-то пробовал уже xeon'ы scalable? Gold/platinum которые. Как они в сравнении с E5-26XXV4? Или, может, кто находил обзоры адекватные, а не на уровне "мы сравнили две спецификации и ничего не бенчили. Вот этот выглядид лучше, но это не точно"
Dasha
Привет! Приглашаем вас на DevOps Meetup 24 ноября в Санкт-Петербурге https://events.epam.com/events/devops-meetup • Рустам Хутов расскажет, как автоматизировать установку окружения для обучения принципам CI с помощью Docker. • Алексей Колобов поделится опытом, как мигрировать в AWS. Подробнее о докладах можно прочитать ниже по ссылке. Регистрируйтесь: https://events.epam.com/events/devops-meetup
Aleksey
в четверг?
Aleksey
при реге
rus
Нагрузки большие.
rus
=)
Aleksey
а кнопки реги через соцсети сделаны так что их ест банерорезалка.
Aleksey
вроде бы епам ? может фишинг не ?
Dasha
Митап в пятницу :) По поводу ошибки не могу понять, в чем дело У всех работает(
Denis
Конкретный кейс?
Я не понимаю вопрос. Я вижу по метрикам браузера высокий днслукап. Вопрос заключается в том, был ли у кого то опыт исследования этой проблемы на клиентах
Aleksey
вход через g+
Nklya
Интересно, что мешает использовать нормальный meetup.com или timepad
Dasha
Ссылка на Meetup.com https://www.meetup.com/EPAM-IT-EVENTS/events/245186651/
Aleksey
во.
Dasha
получается зарегистроваться? если не получится, все равно приходите - всех примем😊
Илья
всем привет! здесь можно задавать вопросы на тему CI/CD на гитлабе? p.s этот чат второй за сегодня, devops_ru какие то агрессивные(
Pavel
Да можно, кто знает - ответят
Илья
понял, спасибо. так вот суть такая, я в этой теме новичок, однако недавно встала вполне реальная задача - реализовать автодеплоинг с гитлаба, на удаленный сервер. выбор пал на встроенный гитлабовский сервис CI/CD. собственно задача тривиальна - нужно при пуше в мастер деплоить по ssh исходники сайта на удаленный сервер. однако все мои танцы с бубном продолжавшиеся всю ночь результата не принесли. job обязательно падал на моменте подключения по ssh, как бы я ключи не доабвлял и sshpass и прочее прочее не помогли. и я прошерстил все ссылки в гугле на эту тему. вообще глухо. прошу помощи)
Aleksey
добавление ключа это болька.
Aleksey
впрочем ее более одного раза решили
Aleksey
кто то через "сервис доставки контента" (С) (TM) кто то запустилв ssh-agent на сервере с воркером
Илья
мне нравится идея того что вот дескать настроил на гитлабе все как надо, и оно все деплоится как надо и куда надо. такое возможно?)
Aleksey
тогда нужно сервис доставки мутить
Aleksey
парни этот вопрос в доке упоминают
Илья
что то новое, поясните
« Rev
@ru_devops   466
Fwd »