Igorь
ну типа если много сложного поиска появляется с джоинами и прочим, то тогда конечно постгрес. А если хватит публичного кв с простым поиском/сессии, то редис. Так?
Igorь
CouchDB, кстати, в каких случаях можно рассматривать как альтернативу?
Alexander
CouchDB, кстати, в каких случаях можно рассматривать как альтернативу?
Давно его не трогал. Ну и в интернет его выставлять тоже лучше не надо.
Igorь
в редисе - таблицу индексов, в КХ - логи, в постгресе - юзеров
Igorь
насчет остального (статика) - я думаю, как лучше: в стороннем CDN, в стороннем S3, в своем S3, в своей статике на диске и отдавать джинксом
Igorь
Все решения плюс-минус одинаковые
Alexander
в редисе - таблицу индексов, в КХ - логи, в постгресе - юзеров
Как ты собираешься логировать и ограничивать доступ к данным в редисе?
Igorь
для публичных данных использовать отдельную базу, ограничение доступа там не требуется. Логгирование идет на уровне джинкса - там видно, откуда стучатся и за чем стучатся
Igorь
сессии можно в другой базе хранить внутри редиса
Igorь
просто не реализовывать в джинксе к ней доступ
Alexander
для публичных данных использовать отдельную базу, ограничение доступа там не требуется. Логгирование идет на уровне джинкса - там видно, откуда стучатся и за чем стучатся
Просто мне не очень понятно, почему не юзать для хранения списка индексов тот же постгрес, который у тебя уже есть. Readonly-ручку для отдачи данных из таблицы не то, чтобы сильно сложно сварганить. Что ты пытаешься оптимизировать? И нужна ли эта оптимизация?
Igorь
не. под таблицей индексов я имел ввиду какой-то сервис, который может сказать, на какой сервак стучаться, чтобы получить ту или иную статику. Частично это можно, конечно, сетью и балансировщиками разрулить, но куда быстрее будет спрашивать сразу конкретный сервак
Igorь
Например, у тебя есть картинка, которая лежит на 3 серверах среди всех. Ты днс-ами разруливаешь, чтобы все эти 3 сервера были доступны по одному имени. Но таких групп серверов может быть несколько, и в редисе как раз лежит (хэш картинки - днс-имя серверов, где она лежит)
Igorь
там вроде так и так надо спрашивать какой-то сервис, где лежит конкретная статика
Igorь
а причем здесь In-memory?
Igorь
ну типа если картинка не является охереть какой важной, то вроде достаточно 99,9999% вероятности ее отдачи
Alexander
а причем здесь In-memory?
Затем, что ты в случае с in-memory стораджем в качестве хранилища метаданных будешь упираться в объем памяти с ростом количества объектов
Igorь
так то ж только адреса. сами картинки не там
Alexander
так то ж только адреса. сами картинки не там
Ты все равно на каждую картинку заводишь по записи.
Igorь
если объем памяти на хранение адресов будет соответствовать объему памяти хранилища, то почему нет
Alexander
Но в целом, тут уже все зависит от объёма данных на самом деле.
Igorь
в смысле - размер картинки раз в 100 длиннее адреса до нее. иногда больше, иногда несущественно меньше. Сервак с 4 гигами сможет хранить адресов до 300 гигов картинок. вроде норм.
Igorь
причем отдавать он сможет это без обращения к диску
Igorь
это на одну ноду
Alexander
это на одну ноду
Редис-то у тебя общий.
Igorь
а. он не умеет слейвить отдельные базы
Igorь
да, тогда логика ломается
Alexander
а. он не умеет слейвить отдельные базы
Нет, я про то, что у тебя все метаданные должны влезть в одну базу редиса и, значит, уместиться в память (или у тебя редис-кластер с шардированием?). И без разницы, сколько у тебя объектов на одном сервере, важно, сколько у тебя их всего в хранилище и можно ли запихать метаданные по ним всем в память одного инстанса редиска.
Igorь
да. я про то же. не подумал, что вообще все данные надо запихивать в память
MRY
Всем доброй ночи. По Auth0 никто не подскажет, есть каналы ?
JBáruch
Кстати, народ, приходите через недельку послушать про гнодноту! Мы тут запилили лучший в мире бесплатный container registry, а вы, наверное, и не знаете! https://leap.jfrog.com/WN-2020-04-JFrog-Container-Registry-Russia-EMEA-lp.html
Мы вас услышали, какой нафиг вебинар в 9:30 утра, когда все на карантине?! Переносим на 10:30, чтобы вы все выспались и успели сварить кофе. Линк остался прежний, ждем вас!
MRY
.,
🏳️ Phil
Кстати. docker compose и вот это всё
🏳️ Phil
Помните, у меня есть бот проверки ресурса на блокировку https://t.me/u2ckbot Исходный код составляющих сервисов всегда был открыт и здорово дополнен сообществом: https://github.com/usher-2/u2ckbot https://github.com/usher-2/u2ckdump Сегодня между делом я не поленился и открыл код обслуживания этих сервисов (Docker, docker compose): https://github.com/usher2/u2ckbot-srv https://github.com/usher2/u2ckdump-srv (рекламная пауза) Конкретно эти сервисы у меня размещены в Финляндии в Хельсинки у финского облачного провайдера: https://upcloud.com/signup/?promo=245XQH
🏳️ Phil
Чо?
Tadeusz
пиу-пиу тесты
🏳️ Phil
Я хз. Мне где-то год назад финны же и порекомендовали. Меня, как живущего на границе, устроило латенси. Ну и да, претензий к ним нет. Какие-то специальные тесты не делал
Dimitri
Народ за помощью и вопросами по к гуру Докера эта сюда или есть отдельный канал?
Igorь
Можно сюда, можно в @ru_docker
Bogdan (SirEdvin)
minio уже научился как-то индексировать файлы? А то все подходы к minio были странными
Индекс он не хранит, чисто сиди смотри на файловое хранилище. Но я бы не сказал, что эта проблема не фикситися, достаточно по папкам раскидать, например
Bogdan (SirEdvin)
По папкам я и на fs раскидать могу
Ну, у нас две ноды, потому как бы два стула, или что-то типа s3, или распределенные fs. Сложно сказать, что лучше
Nick
и еще заботиться чтобы ноды терять можно было спокойно
Nick
и восстанавливать избыточность хранения утраченных в результате смерти диска файлов
🏳️ Phil
9p ))))))))
Sergey
Вообще есть один вариант, но его не любят, потому что денег стоит.
Sergey
Питерский Raidix.
Nick
о, я про них слышал лет 8 назад последний раз. как у них дела?
Sergey
Работают, что им сделается. Они ж в 2008 появились, когда для канадцев сделали хранилище для прямого эфира.
Nick
ну в 2012 оно не особо впечатляло 🙂 но я полагаю, что за 8 лет многое изменилось
Roman
🏳️ Phil
примерно всем
А s3 кроме шаринга конечно всем хороша
Roman
А s3 кроме шаринга конечно всем хороша
уже 10 млн файлов делают большинству posix fs больно
Roman
когда у тебя ~ 500 млн - все очень плохо
Roman
по этой причине решения где 1 объект маппится в 1 файл на диске подходят лишь для тестов
🏳️ Phil
уже 10 млн файлов делают большинству posix fs больно
Это не зависит от S3 или нет. Сделай миллион на minio (и вроде осенью же делали) - тебе станет ещё хуже просто fs
🏳️ Phil
Фил, я тебя не понял
Запихай в minio пару лямов файлов и вернись со сравнительной характеристикой с fs :)
Roman
Запихай в minio пару лямов файлов и вернись со сравнительной характеристикой с fs :)
https://github.com/minio/minio/issues/8715 почему не ceph? ты путаешь проблемы minio и протокол s3
Navern
minio <<<<<< s3
Tadeusz
хз о чем там opennet писал (про 5.6 ядро и selinux), но $ uname -r 5.6.2-300.fc32.x86_64 $ sestatus SELinux status: disabled
🏳️ Phil
Если дробить по папкам, не станет
Если дробить по папкам и в fs всё ок
🏳️ Phil
https://github.com/minio/minio/issues/8715 почему не ceph? ты путаешь проблемы minio и протокол s3
А ты не путаешь протокол S3 и особенности амазона или ceph?
Navern
существует протокол s3?
🏳️ Phil
Roman
Если дробить по папкам и в fs всё ок
вот у тебя 20млн файлов, сколько их удаление будет занимать? ;)
Roman
ну или поиск
🏳️ Phil
Много. Я так понимаю, на любых S3 тоже
🏳️ Phil
И ещё дольше возможно
Navern
Не придирайся
:( админы запрещают придираться