Я гнал. Яндекс делает много странных вещей и потом рассказывает как они делали замок из костылей. Например Яндекс.Диск на монге. Но это офтоп, это в @ru_devops можно потереть

он не на монге

монга - фантастическое говно, и она умирает элементарно под собственным весом

простите за мой французский - я вынужденно поддерживаю парк монг

когда я ее пробовал она была очень модной, но ни кто не знал как ее готовить верно

rm -rf - идеально. Все остальное полумеры

хипстерскую это какую?

монга

он не на монге

тебе найти ссылку на их же собственное видео?

тебе найти ссылку на их же собственное видео?

желательно. Я слышал, что они использовали монгу для хранения какой-то фигни, типа части метаданных. Ужаснувшись увиденному удалили ее и забыли про нее навсегда

тот же ebay активно использует монгу - он в ней хранит метаданные тумбнейлов

что такое "общие цели"? абстрактный случай в вакууме? тогда надо брать постгрес конечно.

ну давай например экосистема oauth. токены, приложения, доступы, токены с инстроспекцией

желательно. Я слышал, что они использовали монгу для хранения какой-то фигни, типа части метаданных. Ужаснувшись увиденному удалили ее и забыли про нее навсегда

ну да, я не помню честно что они хранили

когда я писал свой сервис для авторизации через oauth и контроля доступа к апи (короче я писал замену некой поделки под названием wso2 api manager) я конечно же взял постгрес. и в том числе у меня там было достаточно много реляционных связей.

монга

соглашусь...

nosql они не очень универсальны. они обычно узко специализированы. хочешь выжать максимум из железки и важна персистентность и консистентность данных - возьми тарантул. хочешь красивый распределёный и отказоуйстойчивый кластер для json - возьми каучбейз. хочешь тоже самого только данных больше и таблички - возьми касандру. хочешь подписки на события - возьми рефинкдб. хочешь поебаться - возьми монгу. хочешь бегать по графам - бери графовые бд (тут хз но очевидно что хуже для хранения графов чем sql базы они быть не могут).

Хочу написать путь от кап до Crdt

Благославляю.

когда я писал свой сервис для авторизации через oauth и контроля доступа к апи (короче я писал замену некой поделки под названием wso2 api manager) я конечно же взял постгрес. и в том числе у меня там было достаточно много реляционных связей.

погодь. oauth это достаточно простая штука с размытыми краями, но вполне четкими объектами. какой там в жопу постгрес - токены хранить?

у тебя есть юзеры, есть приложения, есть колбэк урлы, есть пермишены, есть токены. между ними куча связей

какой в жопу kv?

у тебя есть юзеры, есть приложения, есть колбэк урлы, есть пермишены, есть токены. между ними куча связей

собственно и всё что у тебя есть. нет там никаких связей, которые надо было бы отслеживать.

да ты чё? а если у тебя завтра у юзера поменяется статус с "активен" на "забанен", то как быть?

да ты чё? а если у тебя завтра у юзера поменяется статус с "активен" на "забанен", то как быть?

в модел oauth нет слова "юзер" :) ок, клиента. по индексу выпиливаешь. но это не связь в базе. для программы это просто индекс

Тебе ни констрейны, ничего не нужно

А вот интроспекция со стороны ресурсов может крови попортить

в модел oauth нет слова "юзер" :) ок, клиента. по индексу выпиливаешь. но это не связь в базе. для программы это просто индекс

curl -s https://tools.ietf.org/rfc/rfc6749.txt | grep user |wc -l 125

а чем тебе болт в итоге не зашёл?

хранить эти токены

Тебе ни констрейны, ничего не нужно

это тебе не нужно. а у меня телекомы были. там за неконсистентные базы данных ебут кочергой

curl -s https://tools.ietf.org/rfc/rfc6749.txt | grep user |wc -l 125

Ты посмотри что тебе выдаёт-то :)))

это тебе не нужно. а у меня телекомы были. там за неконсистентные базы данных ебут кочергой

какая тебе прости консистентность в токенах нужна? ) У тебя токен протухнет раньше, чем ты вообще её заметишь

рефреш токены у тебя тоже протухают мгновенно?

Ну будет у тебя неделю валятся рефреш токен без реально существующего клиента. Ты ему акцесс не выпишешь - составить не сможешь. Это даже в том невероятном случае, когда у тебя ну вдруг каким-то образом данные разъехались

А вот то что ты для почти микросервиса тащишь нафталиновую тяжелую РБД- вот это так себе

Ради констрейнтов, которые тебе не нужны

Ну на самом деле слушай, сделал и сделал. Я просто подумал - может легкое чего есть

Ну будет у тебя неделю валятся рефреш токен без реально существующего клиента. Ты ему акцесс не выпишешь - составить не сможешь. Это даже в том невероятном случае, когда у тебя ну вдруг каким-то образом данные разъехались

почему не выпишу? чего не хватит то? вообще как ты видишь хранение рефреш токена в kv? что кей а что value. у него же как минимум должна быть указано имя юзера, срок истекания, пермишены и приложение которому предоставлен доступ. это уже надо либо колумн бэйзед, либо документориентированную бд или sql.

а чем тебе болт в итоге не зашёл?

Да вроде пока ничем плохим. Но левченко очень занудно на каком-то митапе в этой их Москве летом ругал его

почему не выпишу? чего не хватит то? вообще как ты видишь хранение рефреш токена в kv? что кей а что value. у него же как минимум должна быть указано имя юзера, срок истекания, пермишены и приложение которому предоставлен доступ. это уже надо либо колумн бэйзед, либо документориентированную бд или sql.

Потому что ты проверишь. Поэтому и не выпишешь. Вот эти все блаблабла - это пейлоад, кторый вне работы над конкретным key не нужен, где индексом разве что client_id у токена, чтобы вычищать их

Ну ок, срок истекания. Хотя я смотрю норм практика просто обегать базу фуллсканом

скан норм

скан норм

Для принудительной деактивации токена - не очень

почему?

На самом деле у меня там был kv. Но в основном для статистики и тротлинга. Я брал редис и не сказать что это был восторг.

почему?

потому что обычно это надо сделать "вчера", а не когда-нибудь в ближайшие сутки

ну как надо так и делай скан

На самом деле у меня там был kv. Но в основном для статистики и тротлинга. Я брал редис и не сказать что это был восторг.

а чио с редисом не так?

Ну не так не было

Просто восторга не было

ладно. судя по всему Левченко тестировал морозоустойчивость пуховки ныряя в прорубь. так что попробую болт, расскажу

да скорее всего не будет у тебя никаких проблем

не та задача чтобы упереться во что-то

ну я так скажем люблю kill -9 делать.или серверу резет жать. говорят плохо переживает

и бэкапы не любишь?

также существует питон на питоне (на удивление шустрый), руби на руби и пхп на пхп (но это своеобразная форма извращения)

Pypy - это не только питон на питоне

но с другой стороны это ж токены проебутся и хер с ними

Так какой nosql круто для хранения не очень большого количества JSON документов? Нужно для простенькой обработки и последующего экспорта результатов. + простенькая очередь может.

Все будет работать на 512/1 гб ОЗУ :))

и бэкапы не любишь?

бэкапы базы с токенами? да не, там это решается плевком на токены и секреты и заливкой заново

На самом деле у меня там был kv. Но в основном для статистики и тротлинга. Я брал редис и не сказать что это был восторг.

Редис резвый как понос

Так какой nosql круто для хранения не очень большого количества JSON документов? Нужно для простенькой обработки и последующего экспорта результатов. + простенькая очередь может.

постгрес и jsonb)))

постгрес и jsonb)))

Та ну

Да и постргрес тяжеловат же

постгрес и jsonb)))

Cassandra

Cassandra

Даже если без кластера?

ну я б брал его но потому что умею в постгрес бери то что умеешь если не умеешь ничего - бери монгу

но с другой стороны это ж токены проебутся и хер с ними

вот ))) там была проблема в коррапте файла бызы и невозможности либой его подцепить. это таки будет даунтайм

ну я б брал его но потому что умею в постгрес бери то что умеешь если не умеешь ничего - бери монгу

Умею мускуль :)

Но не хочу

ERROR: S client not available

Потому что приезжать данные будут в JSON

С вложениями

Так какой nosql круто для хранения не очень большого количества JSON документов? Нужно для простенькой обработки и последующего экспорта результатов. + простенькая очередь может.

сам json тебе как индексы нужен?

Даже если без кластера?

Нет, обязательно нужен кластер

Cassandra

хрен редьки

Нет, обязательно нужен кластер

иначе не web scale

сам json тебе как индексы нужен?

Мм, нужны данные, которые я буду вытягивать по очереди, записывать результат и потом все это экспортировать. Индексы хз, поиска особого делать не буду, разве что там по статусу документов

иначе не web scale

Вот да :)

монгу бери тогда

Мм, нужны данные, которые я буду вытягивать по очереди, записывать результат и потом все это экспортировать. Индексы хз, поиска особого делать не буду, разве что там по статусу документов

ну т.е.для базы твой json может быть блобом?

встраиваемое решение сойдет?

ну т.е.для базы твой json может быть блобом?

Нет, блобом не покатит, в будущем скорее всего нужно будет делать выборки и по доугим полям, заранее не знаю каким

но опять же я бы на твоём месте (учитывая что умеешь мускл) брал его хранил статус в отдельном поле и документ в блобе

Ну мне нужно будет молотить и грузить каждый блоб отдельно для обработки....

Нет, блобом не покатит, в будущем скорее всего нужно будет делать выборки и по доугим полям, заранее не знаю каким

постгрес и jsonb. или действитнльно монга. если ты ее дрючить как сучку не будешь - ты не узнаешь, что у нее есть какието поблемы

ну будешь молотить значит делов-то

Короче там будут текст, теги, ссылки и прочая ерунда, нужно будет мачить, сравнивать и так далее

Но не сильно много :)

Ок, таки монга

Спасибо, гляну

А то начитался что просто ужас

Думал есть что-то круче и стабильнее

Самое обидно конечно будет потерять данные :(

Думал есть что-то круче и стабильнее

постгрес )

:))

но тебе ж видимо не надо стабильнее )

Блин, я уже расслабился было :)

Самое обидно конечно будет потерять данные :(

держи копию в kv

держи копию в kv

Kv это где именно?

постгрес )

угу. половина вопросов в чатике про постгрес - как я выковыривал свои данные из фарша

Kv это где именно?

ну используй монгу для индексов. а не как хранилище. а доки оригиналы храни отднльно хоть файлами