Evgeniy
то есть мне нужно, чтобы тестовые модули запускались независимо
Tishka17
Alex
Tishka17
Anton
Tishka17
Или работать только в фиксированных условиях
Anton
тесты не нужны, прод - мой тест \s
Evgeniy
Alex
Evgeniy
довольно херовая практика
ну такое, загромождать код передачами повсюду конфигов, с риском где-то случайно перезатереть конфиг
Tishka17
Alex
Tishka17
Alex
su
ребята если речь про pytest, то их можно выполнять раздельно по файлам указав в качестве командной строки аргументы и поэтому нехер устраивать между модулями связи и зависимости - чтобы они падали при тестировании фичи?
Alex
Kirill
Kirill
Говно какое-то
Tishka17
Kirill
Просто вырезали половину инфы, убрали отступы и сказали "удобно"
Evgeniy
Степан
._.
Anton
С 20 раза понял как это читать
не советуется новичкам юзать, или если не умеешь читать ванильный трейсбэк. мне удобно, в любой момент можно посмотреть нормальный вид.
Philipp
Привет, ситуация такова - у меня есть несколько сервисов в контейнерах:
- MongoDB - просто контейнер с базой;
- db_service - контейнер с API которая принимает файлы (зипованные JSON), распаковывает, валидирует, ищет копии, сохраняет в MongoDB GridFS, версионирует и т.п.
- conversion_service - контейнер с API, которая запускает задачи Celery, проверяет их статус и отдаёт результат.
- celery_worker - в этом сервисе выкачиваются указанные файлы из db_service и происходит конвертация в нужный формат (stp, stl и т.п.).
- Redis - контейнер, использующийся как message broker.
- nginx_proxy - контейнер, в котором крутится nginx, между собой все сервисы общаются только через него, во внешний мир выставлен тоже только он.
После сохранения файла или его апдейта, db_service автоматически дёргает сервис конвертации, так как необходимо иметь определённые форматы уже сконвертированными в момент когда пользователь захочет получить их.
Сейчас между conversion_service и celery_worker есть расшаренный докеровский volume. Запрос о конвертации приходит в conversion_service, тот запускает задачу, celery_worker выкачивает файл из db_service, конвертирует, помещает результат в этот volume. Пользователь проверяет статус задачи, если конвертация прошла, то забирает результат через эндпоинт в conversion_service.
Меня это не совсем устраивает, я думаю, что эти файлы должны отдаваться напрямую nginx'ом. Но, меня смущает, что в таком случае непонятно, как решать, имеет право человек получить данный файл или нет? И вообще, есть мысль перестать хранить файлы в GridFS, складировать в папке в том же зипованном виде, а в MongoDB оставить только мета-данные. Помогите понять, что не так сейчас, что не так может быть в будущем? Что искать в доках nginx по этой теме? Может на примете есть у кого статьи или другие материалы по схожим проблемам?
Kirill
Kirill
Никому не рекомендуется такое юзать
Kirill
Привет, ситуация такова - у меня есть несколько сервисов в контейнерах:
- MongoDB - просто контейнер с базой;
- db_service - контейнер с API которая принимает файлы (зипованные JSON), распаковывает, валидирует, ищет копии, сохраняет в MongoDB GridFS, версионирует и т.п.
- conversion_service - контейнер с API, которая запускает задачи Celery, проверяет их статус и отдаёт результат.
- celery_worker - в этом сервисе выкачиваются указанные файлы из db_service и происходит конвертация в нужный формат (stp, stl и т.п.).
- Redis - контейнер, использующийся как message broker.
- nginx_proxy - контейнер, в котором крутится nginx, между собой все сервисы общаются только через него, во внешний мир выставлен тоже только он.
После сохранения файла или его апдейта, db_service автоматически дёргает сервис конвертации, так как необходимо иметь определённые форматы уже сконвертированными в момент когда пользователь захочет получить их.
Сейчас между conversion_service и celery_worker есть расшаренный докеровский volume. Запрос о конвертации приходит в conversion_service, тот запускает задачу, celery_worker выкачивает файл из db_service, конвертирует, помещает результат в этот volume. Пользователь проверяет статус задачи, если конвертация прошла, то забирает результат через эндпоинт в conversion_service.
Меня это не совсем устраивает, я думаю, что эти файлы должны отдаваться напрямую nginx'ом. Но, меня смущает, что в таком случае непонятно, как решать, имеет право человек получить данный файл или нет? И вообще, есть мысль перестать хранить файлы в GridFS, складировать в папке в том же зипованном виде, а в MongoDB оставить только мета-данные. Помогите понять, что не так сейчас, что не так может быть в будущем? Что искать в доках nginx по этой теме? Может на примете есть у кого статьи или другие материалы по схожим проблемам?
Зачем тебе базу данных в контейнере держать, а если упадет?
Philipp
Kirill
Ну так без контейнера проще
Anton
Никому не рекомендуется такое юзать
мне удобно, для относительно малых проектов. там можно в конфиге включить полный путь к файлу, если путаешься. много настроек, в общем
Kirill
Мы тут взрослые большие проекты пишем
Kirill
А для малых я бы вообще ничего не ставил
Kirill
Kirill
Но если ты держишь базу в контейнере и контейнер падает, то ты просто теряешь все данные
Philipp
Как угодно
Я к тому, что НЕТ, проще в контейнере.
Philipp
Kirill
С чего бы нет?
Kirill
Единственный способ сохранить данные это сделать какой-нибудь волум в докере
Philipp
mongo image автоматом всё себе настраивает, даже руками ничего не надо делать.
Kirill
Kirill
Волумы указываются ручками в cli докера или конфиге докер композа
Kirill
Для контейнера странно без ведома юзера что-то сохранять на хост машине
Kirill
Если ты пользуешься конфигом докер композа который они сами выложили то логично что все сохраняется
Philipp
Я уже с пол-года так разработку веду, а ты пытаешься меня убедить, что это не так?
Philipp
Denis
Denis
При пересоздании оно сбросится. Например, про docker-compose down
Kirill
Он просто не разбирается, пользуется чем дали и у него все работает
Denis
Ладно, при down не сбросится, обманул
Radaram
Всем привет, вопрос по кафке)
использую в качестве клиента кафки python любу kafka-python и вопрос
Нужно ли подключаться к кафке и создавать объект класса KafkaProducer при запуске апи сервиса или всегда создавать новый инстанс класса KafkaProducer перед тем как отправить в топики сообщения, для моего случая в момент когда приходит запрос в апи?
Kirill
Kirill
Он позволяет создать волум с уже указанным путем для контейнера, а на хосте ты все еще должен указать сам
Kirill
Позволять контейнеру делать те волумы что он хочет небезопасно
Kirill
Особенно учитывая что докер работает под рутом обычно и может писать что-то в системные директории
Denis
У меня не под рутом
Kirill
У меня всегда рут просил
Alex
VOLUME в докерфайле не делает то же самое
VOLUME делает ровно то что описано, создает volume при старте контейнера. как будет создан этот volume зависит от типа storage указанного в докер демоне.
Ты слегка путаешь bind mount с volume.
Alex
Kirill
Midnight
всем привет )))
Alex
Понял
По-умолчанию обычно используется используется local драйвер, который создает директорию в <data-root>/volumes/<volume-name>/_data и монтирует ее по пути указанному в VOLUME докерфайла.
Степан
Привет всем.
Мне нужно сделать алгоритм который будет выводить подобный результат из HTML строки
Степан
Кто специалист по beautiful soup?
Alex
Понял
Можешь запустить например postgres контейнер без параметров и проверить
docker run --rm --name test -e 'POSTGRES_PASSWORD=pswd' postgres
docker inspect --format='{{json .Mounts}}' test | jq
Степан
Дело в том что текст-то один, и может быть разбросан по всей строке.
Не выходи из комнаты.
Столкнулся со следующей проблемой.
Есть веб-приложение, написано на фласке. Поместили его в докер контейнер.
Используем также эластиксерч, на него отдельный под.
Всё это обвязано кубернетесом.
Каждый раз после билда фласка, он не видит индексы эластиксерча, пока не рестартануть эластик и фласк.
В чем может быть проблема?