Alexander
Igorь
ну типа если много сложного поиска появляется с джоинами и прочим, то тогда конечно постгрес. А если хватит публичного кв с простым поиском/сессии, то редис. Так?
Igorь
CouchDB, кстати, в каких случаях можно рассматривать как альтернативу?
Alexander
Igorь
в редисе - таблицу индексов, в КХ - логи, в постгресе - юзеров
Igorь
насчет остального (статика) - я думаю, как лучше: в стороннем CDN, в стороннем S3, в своем S3, в своей статике на диске и отдавать джинксом
Igorь
Все решения плюс-минус одинаковые
Igorь
для публичных данных использовать отдельную базу, ограничение доступа там не требуется. Логгирование идет на уровне джинкса - там видно, откуда стучатся и за чем стучатся
Igorь
сессии можно в другой базе хранить внутри редиса
Igorь
просто не реализовывать в джинксе к ней доступ
Igorь
не. под таблицей индексов я имел ввиду какой-то сервис, который может сказать, на какой сервак стучаться, чтобы получить ту или иную статику. Частично это можно, конечно, сетью и балансировщиками разрулить, но куда быстрее будет спрашивать сразу конкретный сервак
Igorь
Например, у тебя есть картинка, которая лежит на 3 серверах среди всех. Ты днс-ами разруливаешь, чтобы все эти 3 сервера были доступны по одному имени. Но таких групп серверов может быть несколько, и в редисе как раз лежит (хэш картинки - днс-имя серверов, где она лежит)
Igorь
там вроде так и так надо спрашивать какой-то сервис, где лежит конкретная статика
Alexander
Igorь
а причем здесь In-memory?
Igorь
ну типа если картинка не является охереть какой важной, то вроде достаточно 99,9999% вероятности ее отдачи
Alexander
а причем здесь In-memory?
Затем, что ты в случае с in-memory стораджем в качестве хранилища метаданных будешь упираться в объем памяти с ростом количества объектов
Igorь
так то ж только адреса. сами картинки не там
Igorь
если объем памяти на хранение адресов будет соответствовать объему памяти хранилища, то почему нет
Alexander
Но в целом, тут уже все зависит от объёма данных на самом деле.
Igorь
в смысле - размер картинки раз в 100 длиннее адреса до нее. иногда больше, иногда несущественно меньше. Сервак с 4 гигами сможет хранить адресов до 300 гигов картинок. вроде норм.
Igorь
причем отдавать он сможет это без обращения к диску
Alexander
Igorь
это на одну ноду
Igorь
а. он не умеет слейвить отдельные базы
Igorь
да, тогда логика ломается
Alexander
а. он не умеет слейвить отдельные базы
Нет, я про то, что у тебя все метаданные должны влезть в одну базу редиса и, значит, уместиться в память (или у тебя редис-кластер с шардированием?). И без разницы, сколько у тебя объектов на одном сервере, важно, сколько у тебя их всего в хранилище и можно ли запихать метаданные по ним всем в память одного инстанса редиска.
Igorь
да. я про то же. не подумал, что вообще все данные надо запихивать в память
MRY
Всем доброй ночи. По Auth0 никто не подскажет, есть каналы ?
JBáruch
MRY
.,
Pavel
🏳️ Phil
Кстати. docker compose и вот это всё
🏳️ Phil
Помните, у меня есть бот проверки ресурса на блокировку https://t.me/u2ckbot
Исходный код составляющих сервисов всегда был открыт и здорово дополнен сообществом:
https://github.com/usher-2/u2ckbot
https://github.com/usher-2/u2ckdump
Сегодня между делом я не поленился и открыл код обслуживания этих сервисов (Docker, docker compose):
https://github.com/usher2/u2ckbot-srv
https://github.com/usher2/u2ckdump-srv
(рекламная пауза) Конкретно эти сервисы у меня размещены в Финляндии в Хельсинки у финского облачного провайдера: https://upcloud.com/signup/?promo=245XQH
Рубикон
🏳️ Phil
Чо?
Tadeusz
пиу-пиу тесты
🏳️ Phil
Я хз. Мне где-то год назад финны же и порекомендовали. Меня, как живущего на границе, устроило латенси. Ну и да, претензий к ним нет. Какие-то специальные тесты не делал
Dimitri
Народ за помощью и вопросами по к гуру Докера эта сюда или есть отдельный канал?
Igorь
Можно сюда, можно в @ru_docker
🏳️ Phil
Nick
Nick
и еще заботиться чтобы ноды терять можно было спокойно
Nick
и восстанавливать избыточность хранения утраченных в результате смерти диска файлов
🏳️ Phil
9p ))))))))
Sergey
Вообще есть один вариант, но его не любят, потому что денег стоит.
Sergey
Питерский Raidix.
Nick
о, я про них слышал лет 8 назад последний раз. как у них дела?
Sergey
Работают, что им сделается. Они ж в 2008 появились, когда для канадцев сделали хранилище для прямого эфира.
Nick
ну в 2012 оно не особо впечатляло 🙂 но я полагаю, что за 8 лет многое изменилось
Roman
Roman
когда у тебя ~ 500 млн - все очень плохо
Roman
по этой причине решения где 1 объект маппится в 1 файл на диске подходят лишь для тестов
Roman
🏳️ Phil
Фил, я тебя не понял
Запихай в minio пару лямов файлов и вернись со сравнительной характеристикой с fs :)
Bogdan (SirEdvin)
Navern
minio <<<<<< s3
Tadeusz
хз о чем там opennet писал (про 5.6 ядро и selinux), но
$ uname -r
5.6.2-300.fc32.x86_64
$ sestatus
SELinux status: disabled
🏳️ Phil
Navern
существует протокол s3?
Tadeusz
Navern
🏳️ Phil
Roman
ну или поиск
🏳️ Phil
Много. Я так понимаю, на любых S3 тоже
🏳️ Phil
И ещё дольше возможно