« Rev
@devops_ru   1283
Fwd »


Daniel
вторичные индексы? чего больше, чтений или записи? требования по скорости?
blkmrkt
вторичные индексы? чего больше, чтений или записи? требования по скорости?
вторичных индексов всего 2: createdAt, modifiedAt. Больше всего в порядке убывания: чтение, изменения, добавления. На самом деле задача такова, что есть веб-паук, который собирает JSON документы. Он их отправляет пачками в 1000 шт на api endpoint, далее документы с таким же ID достаются из БД, вычисляется deep diff документа, сам документ полностью обновляется, а diff откладывается в отдельную таблицу, что-то вроде audit
Konstantin
а партиции имеются? на таких то объёмах...
blkmrkt
я пробовал переписать ф-ю для deep diff на pl/pgSQL, но не осилил
blkmrkt
а партиции имеются? на таких то объёмах...
не, на одном сервере все, причем RAID10 на магнитных дисках. максимум скорость обработки json доков была 8тыс/сек
Konstantin
да причём сервер
Konstantin
таблицы на секции поделены?
Konstantin
по датам хотя бы
blkmrkt
таблицы на секции поделены?
ааа, вот это не знаю, наверное under the hood это делается, не?
Konstantin
так проверь)
Konstantin
у нас тоже огромное хранилище, в день по 200 тысяч строчек добавляется... секионирование дико выручает
Konstantin
таблица разбита на секции по месяцам, секция на подсекции по "проектам"
Konstantin
при выборке оптимизатор понимает откуда чо брать
Konstantin
правда у нас оракал
Konstantin
знаю что pg тупит если секций становится больше 100
blkmrkt
ну посмотрю как на SSD сейчас будет, может придумаю как разбить на партиции
blkmrkt
Yubikey кто-нибудь пользуется с PAM модулем или OTP в компании?
maniac
проснулся, 353 сообщения срача около системд можно засыпать.
Logan
знаю что pg тупит если секций становится больше 100
что-то странное. Штатное секционирование или pg_partman? и версия постгреса какая?
Daniel
ну посмотрю как на SSD сейчас будет, может придумаю как разбить на партиции
как только индекс перестанет помещаться в память - будет жопа палюбэ
Alexander 🐕
этот человек хуесосит всё что видит, поэтому удивляться тут нечему
Это утверждение легко опровергается, кстати
Daniel
Это утверждение легко опровергается, кстати
вообще не опровергается. Константин утверждает, что ты хуесосишь все, что его окружает. это - горькая правда.
Alexander 🐕
А, в этом смысле - безусловно
Alexander 🐕
Но это же просто "плохо быть Константином"
Daniel
константин думает, что Константином быть хорошо. писать на шарпе для российского телекома
Alexander 🐕
Ну - на шарпе писать хорошо В шарпе скоро будет паттерн мэтчинг А будут себя хорошо вести - им еще и таплов завезут
Daniel
честно тебе скажу - ты хуесосишь все, что окружает большинство из нас
Alexander 🐕
Но писать на шарпе для российского телекома - это дно дна дна
Daniel
это, правда, опять вопрос широты кругозора
Alexander
позволю себе продублировать в чатике днем. очень уж нужен спец.
Alexander
Господа полуночники, есть спецы по js и SPA в частности?)
Alexander 🐕
Но он, наверное, занят
Alexander 🐕
Могу познакомить
Alexander 🐕
Пиши в личку
Alexander 🐕
Более того - я знаю не одного такого спеца
Constantine️
JS блять
Constantine️
нука повейте мне, почему в мире фронтенда и JS, localstorage между http и https не шарится?
Constantine️
чем больные ублюдки думали, когда такое сделали как стандарт?
Alexander 🐕
JVM это страшно
blkmrkt
все graph датабазы на джаве кстати, загадка почему
Constantine️
потому что джавистам эти базы уперлись ))
Daniel
или кассандра, или аэроспайк
Daniel
под вашу задачу я бы брал кассандру
Daniel
а jvm - это хорошо же
Daniel
все graph датабазы на джаве кстати, загадка почему
потому, что на яве это подъемная задача. сейчас еще на go можно было бы их писать, но уровень среднего go программера не дотягивает (пока?)
blkmrkt
спасибо, почитаю про кассандру. там доки наполовину написаны к ней, непонятно работает она с json/jsonb или нет
Daniel
заглядывает ли внутрь?
Daniel
врое - нет
Daniel
а надо?
blkmrkt
да желательно, может придется индекс построить потом, либо отсеять мусор
Daniel
а зачем именно база должна это делать?
Daniel
все равно же вынимать-доставать
Daniel
nosql он такой, примитивный
blkmrkt
все равно же вынимать-доставать
а ну да. тогда уж индекс построить может по одному полю, не знаю даже. было бы неплохо
blkmrkt
что за магия такая, как это так опс/сек тут растут нелинейно с кол-вом нод?
Daniel
индекс - это по отдельному полю. то есть вынул, вычитал, вписал в поле.
Daniel
compaund индексы там, кстати, или конкатенированныым полем, или никак, или магией (в последних версиях)
blkmrkt
хех, кассандра с версии 2.2 умеет с жсон работать, в т.ч. и обновлять документ
Daniel
что за магия такая, как это так опс/сек тут растут нелинейно с кол-вом нод?
при определенном replication factor я могу себе представить такую картину
blkmrkt
интересно как тогда треугольник CAP выглядит
blkmrkt
проще всего познакомиться с новым движком бд, это прочитать блог aphyr, ящитаю. и очень рекомендую: https://aphyr.com/posts/294-jepsen-cassandra
Daniel
это старый
Daniel
в 3.5 движок обновили
Daniel
добавилит компауд-индексы
blkmrkt
а ну хоть с основами ознакомиться нужно
blkmrkt
у меня постгрес уже вторые сутки делает vacuum analyze одной таблицы 😭,
Daniel
мы как раз на 450М строк на nosql съехали
Uncel
Как минимум s2graph и infinity graph
Alexei
А как запустить kibana в бэкграунде без рута? Если nohup kibana ... & не помогает.
Alexei
Чтобы не останавливался, когда из ssh сессии выхожу
maniac
инитскрипт?
Alexei
Инитскрипт можно без рута?
maniac
што. нет, нельзя.
« Rev
@devops_ru   1283
Fwd »