Нужно чтобы файлы было легко реплицировать в пределах одной сети, в т. ч. на серверах за DMZ

Снятие дампов и разворачивание с них на любой машине, чтобы можно было после «зачистки» погонять что-то на прод данных, но на локальных машинах

много файлов до 60 мегабайт, файлы создаются пользователями и закрепляются за их акаунтом, в grid вязали по внешнему ключу клиента

Пользователи разделены по группам, грубо говоря есть мало пользователей которые публикуют мало файлов, для своей группы, эта группа иногда публикует ответные файлы (примерно по 0-10 на пользователя), таких пользователей от 10к до 150к, в зависимости от проекта

Снятие дампов и разворачивание с них на любой машине, чтобы можно было после «зачистки» погонять что-то на прод данных, но на локальных машинах

считаем: 10000* ~ 1мб ~ 10гб. это минимум и только для одной группы, верно?

Отдача файлов по https, периодически нужна возможность докачки с рандомного чанка

не будут в нормальном хранилище по чанкам биться, это не монга ?

не будут в нормальном хранилище по чанкам биться, это не монга ?

Монга как раз бъет по чанкам

ну я про это и говорю

ну я про это и говорю

Ок, неправильно понял

А вам совсем с S3 никак?

уже предлагали ему ceph

Ну да, тут маловато вариантов ? ceph будет гибче, но опять же как там с DMZ, если только 80/443 открыты

А вам совсем с S3 никак?

Ну если его можно за DMZ поставить, то в принципе как вариант пойдет + существуют периодически региональные требования, которые ставяь на облаке крест

Но насколько я понимаю, S3 — это чисто облако

ну не ? там приницип работы другой немного

щупайте ceph

на одном из мест работы делал на nginx обычное проксирование до ceph который отдавал файлы только с определенных бакетов и тд, а на nginx уже можно сделать хотя бы basic авторизацию, обернуть https и тд

но не хранить файлы в базе

а зачем файлы в базе хранить? никогда о таком не слышал

я видел такое, хранили в base64 в mssql

я видел такое, хранили в base64 в mssql

Это же уже не файлы

Ну да, тут маловато вариантов ? ceph будет гибче, но опять же как там с DMZ, если только 80/443 открыты

А что не так с dmz? Ceph же в режиме radosGW юзать надо для s3

ну они их развонрачивали из base64 потом

я видел в pg в base64 ? pdf

А что не так с dmz? Ceph же в режиме radosGW юзать надо для s3

вы предлагаете и S3 и Ceph использовать? сразу обе две?

Base64 вроде только текст кодирует или нет?

вы предлагаете и S3 и Ceph использовать? сразу обе две?

Зачем? Просто использовать radosgw

S3 - это, как уже сказали, протокол

Он реализован в ceph как radosgw

Так в чем принципиальная польза хранить файлы в БД?

Зачем? Просто использовать radosgw

предлагали nginx даже как вариант

предлагали nginx даже как вариант

Его только в качестве прокси, разве что

Но вообще у меня в качестве прокси и балансера там gobetween

а зачем файлы в базе хранить? никогда о таком не слышал

Скажите это ораклоидам))

Он и серты сразу для https подсовывает

Странно, что хэдуп никто не предложил

hdfs?

Хдфс лучше для больших файлов

Так, я сейчас коротко расскажу, как так получилось, и давайте закроем тему файлов в базе (так сейчас я пришел за поиском ответа, как уйти от этого, не потеряв в гибкости) Когда ты маленький команда 3-5 человек, то чем меньше у тебя задействовано разных систем, тем проще: учить, разворачивать, разрабатывать. Файлы в базе решали для нас проблему репликации и быстрого переезда, в т. ч. на машину разработчика, когда что-то нужно проверить на боевых данных, после их чистки. Файлы в базе хранятся не в виде Base64, а в бинарном виде, разбитыми на кучу чанков, что позволяло читать и отдавать их потоками через Node, с проверкой прав, при удалении или переезде пользователя убирать его данные нафиг с проекта, когда они становились не нужны. До появления Ansible в команде, и прочих прибомбасов приходилось это все быстро разворачивать и перевозить руками (до сих пор иногда попадаются настолько ядреные среды, что приходится это все делать в них руками). Сейчас есть проблема, что в проектах 50-150к отдача файлов стала не критично, но туговатой, озаботились слезанием с GridFS, на что-то, что будет близко к «нативной» отдаче через Nginx

Пока мы общаемся, я смотрю на Ceph и он мне нравится, но понятно, что придется под требования задачи поверх прослойку для проверки авторизации, и все равно прокачивать файл через бэкенд. Я еще пока не понял, можно ли у него вытащить часть файла по Range, чтобы сделать докачку

Что значит через бэкенд? Там же через ргв идёт

Что значит через бэкенд? Там же через ргв идёт

да я слепой просто, вы правы

Пока мы общаемся, я смотрю на Ceph и он мне нравится, но понятно, что придется под требования задачи поверх прослойку для проверки авторизации, и все равно прокачивать файл через бэкенд. Я еще пока не понял, можно ли у него вытащить часть файла по Range, чтобы сделать докачку

Прослойку для проверки авторизации?

Саму авторизацию чтоль?

Так там же есть access key и secret key, всё, как в s3

Так там же есть access key и secret key, всё, как в s3

да я слепой просто, не увидел сразу

Base64 вроде только текст кодирует или нет?

насколько я помню они брали файл, делали из него binary, потом в строку и base64, либо какой-то другой изврат был

где можно глянуть примеры, сложных пайплайнов для дженкинса?

на сколько именно сложных?

да хз, что нибудь на подобии мульти энва + несколько хостов + куча кастомных параметров и тд и все в одном ))

понятно, что один проект = один пайп(test/stage/prod + пачка тестов)

да хз, что нибудь на подобии мульти энва + несколько хостов + куча кастомных параметров и тд и все в одном ))

можно конечно наделать кучу пайпов узкозаточенных, но больше даже вопрос, на сколько реально это сделать и есть ли в этом смысл?

Ребят, спасибо вам

Кстати, немного про баш, и то как использовать его функции https://medium.com/@vfreefly/increase-readability-of-your-bash-scripts-using-functions-a4e2072ede8

шел 2018 год.. люди пишут мануалы по использованию функций в баше.

так глядишь свежие маны по перлу подвезут

@VladimirSin да ладно, норм. Гайд по стилю для новичков. Больше здравого смысла в массы.

http://paste.org.ru/?or5ngz не баш конечно, но тоже с функциями и анси) мой самый жирный батник

а что баш уже не в тренде? Чем его заменяют?

змея

но кто говорит что баш не в тренде? просто спустя ~30 лет с момента создания баша все еще пишут мануалы на него)

поддержу - bash у меня в проде на первом месте - потом уже идет csh

Нафига ?

просто он по умолчанию устанавливается

я на новом ноуте всегда одной из первых команд запускаю chsh

Доброго всем времени суток коллеги!!! Возник вот какой вопрос: Имеется в наличии ElasticSearch - загружены в него данные (немного криво) файлик через filebeat - и самое интересное что почти вся строка лога попала в message Так вот тут вопрос: есть действующий способ разбить это поле с помощью паттерна grok (Он уже имеется) на поля которые нужны, а все лишние поля из индекса удалить понимаю что все делается через реиндексацию, но вот порядок и сам механизм. За ранее спасибо за любую наводку

Можно через logstash на вход один индекс из elastic, на выход другой, в filter что нужно делать

Ребята, вопрос к знатокам. Надо одной кнопкой ( :) ) развернуть на одной машине image из хаба докера и по хукам из хаба делать redeploy. Что посоаетуете?

Jenkins

Ребята, вопрос к знатокам. Надо одной кнопкой ( :) ) развернуть на одной машине image из хаба докера и по хукам из хаба делать redeploy. Что посоаетуете?

Обвязку какую лучше взять ?

Jenkins

Спс, погляжу

Доброго всем времени суток коллеги!!! Возник вот какой вопрос: Имеется в наличии ElasticSearch - загружены в него данные (немного криво) файлик через filebeat - и самое интересное что почти вся строка лога попала в message Так вот тут вопрос: есть действующий способ разбить это поле с помощью паттерна grok (Он уже имеется) на поля которые нужны, а все лишние поля из индекса удалить понимаю что все делается через реиндексацию, но вот порядок и сам механизм. За ранее спасибо за любую наводку

А в чем вопрос? Пишите шаблон в логстеше. Дефолтных регулярок достаточно

А в чем вопрос? Пишите шаблон в логстеше. Дефолтных регулярок достаточно

хотелось бы не использовать logstash как дополнительное звено - при отказе. вопрос по индексу: возможно ли его переиндексовать - с удалением ненужных полей и разбивкой поля "message", которые будут созданы при разбивке поля? Позволяет ли это сделать scripting ? в идеале хотелось бы не использовать logstash

Все привет! Мне нужно через terraform создать 10-15 k8s секретов. Подскажите как это можно сделать максимально компактно, что бы main.tf был минимально раздутый по размеру. По типу как в ansible loop или типа такого

хотелось бы не использовать logstash как дополнительное звено - при отказе. вопрос по индексу: возможно ли его переиндексовать - с удалением ненужных полей и разбивкой поля "message", которые будут созданы при разбивке поля? Позволяет ли это сделать scripting ? в идеале хотелось бы не использовать logstash

Грок это часть логстеша, не?

Тегаете файлбит логи Готовите грок на логстеше под каждый тег если логи разные и уже тогда шлете в эластик. Так что скорее файлбит лишнее звено чем logstash Иначе выходит что биты будут забивать сеть тоннами логов. Дабы этого избежать нужно в сеть пулять уже фильтрованные данные

хотелось бы не использовать logstash как дополнительное звено - при отказе. вопрос по индексу: возможно ли его переиндексовать - с удалением ненужных полей и разбивкой поля "message", которые будут созданы при разбивке поля? Позволяет ли это сделать scripting ? в идеале хотелось бы не использовать logstash

вы можете убрать любой фрагмент лога из шаблона message с помощью grok