Vladimir
Вроде на тебя, кстати
да вроде нет, ибо не "булишь", а "булинг позволяешь"
Евгений
Непонятно. Но в любом случае стоило ему объяснить, что размер индексов никак не детерминирует потребление напрямую
Евгений
Т.е. я подозреваю, что корреляция есть, но не причино-следственная связь ни разу
Vladimir
так тебе никто не мешает сделать базу где было бы 700 ГБ индексов и не подавать на нее никаких запросов на вставку-чтение
Евгений
Корреляция это явление статистическое :) Она может быть либо вообще, либо не быть
Евгений
Чуваки которые делают 700 гб индексов и не используют их в выборке просто сдвинут значение
Vladimir
Корреляция это явление статистическое :) Она может быть либо вообще, либо не быть
тогда в общем случаи нет корреляции, а вот при наличии нагрузки - она скорее всего есть
Евгений
Ты, похоже, путаешь корреляцию и взаимосвязь (или может автокорреляцию)
Евгений
Корреляция — это мы взяли всех юзеров постгреса, посмотрели у них потребление и размер индексов. И нашли, что между этими величинами есть ненулевая взаимосвязь
Евгений
Считать корреляцию для одного юзера постгреса непонятно как :) Выборка из одного значения это такое
Vladimir
Считать корреляцию для одного юзера постгреса непонятно как :) Выборка из одного значения это такое
ну не для одного юзера, а для паттерна нагрузки, например. И для паттерна нагрузки "0 запросов на чтение и запись" корреляции не будет)
Vladimir
ты почти всегда можешь уточнять условия до какого-то пределах. А то корреляция на всем множестве постгрессов мира - тоже не очень полезная штука
Евгений
Для паттерна нагрузки "любой" корреляция будет, а паттерн нагрузки "0 запросов на чтение и запись" просто внесёт уменьшающий вклад в значение коэффициента корреляции
Евгений
Полезная, не полезная — другой вопрос
Vladimir
Ну он про такое и интересовался
ну тогда ему в рассылку постгреса лучше, разработчики вероятно собирают разную статистику и анализируют ее
Евгений
Может и полезная, можно искать кластера, например
Евгений
ну тогда ему в рассылку постгреса лучше, разработчики вероятно собирают разную статистику и анализируют ее
Я бы ему посоветовал всё-таки уточнить паттерн нагрузки, а не гадать на кофейной гуще
Старый
Я бы ему посоветовал всё-таки уточнить паттерн нагрузки, а не гадать на кофейной гуще
Postgres 12 k iops(из слов заказчика), инсерты\апдейты\сетекты 30\10\60 в процентах
Vladimir
Я бы ему посоветовал всё-таки уточнить паттерн нагрузки, а не гадать на кофейной гуще
само собой, на это мой изначальный вопрос и был направлен (чтобы он подумал и уточнил что-нибудь без деталей)
Евгений
Или сейчас у них уже такая есть и они всё переделывают? Или они будут постепенно до неё идти?
Старый
Или сейчас у них уже такая есть и они всё переделывают? Или они будут постепенно до неё идти?
эта нагрузка которую они ожидают к марту, надо сейчас железо поставить, настроить пг, настроить кассандру(по ней я уже всё расписал и сделал что заказать), настроить прометей
Евгений
Если второе, то проблему проще решить "кибернетически" — настроить сейчас, а потом по мере роста подкручивать параметры
Евгений
Может автоскейлинг настроить
Евгений
Гадать на кофейной гуще это такое
Navern
Я так понимаю там железные сервера
Евгений
А сколько времени заказ железки занимает?
Старый
я с хецнером оч мало работал, больше по серверс.ком и селектелу, потому не скажу. Проблема в переезде, 7 тб перевозить на другое железо через 1 гбит так себе идея
Евгений
ШАРДИРОВАНИЕ
Евгений
Т.е. надо понять можно ли масштабироваться горизонтально
Старый
ШАРДИРОВАНИЕ
шардирование когда люди запросы через орм пишут?
Старый
не издевайся
Евгений
Грустно, тогда только можно предложить тестовый стенд в каком-нибудь клауде, заливать нагрузкой и смотреть как растёт потребление
Vladimir
шардирование когда люди запросы через орм пишут?
так никто не издевается, не имеет значение через что люди пишут запросы, проблема в том что в какой-то момент у людей не будет выбора - когда более крутое железо добыть уже будет нельзя или очень дорого
Navern
Мне кажется что проще всего провести какие то стресс тесты
Navern
Если задача на одну железку влезть и понять что у вас там
Старый
Мне кажется что проще всего провести какие то стресс тесты
я написал про это вчера, жду ответа, будут делать или нет
Старый
Если задача на одну железку влезть и понять что у вас там
ставится postgresql pacemaker+corosync для файловера делается https://clusterlabs.github.io/PAF/documentation.html, пока план вот такой
Старый
будет 3 сервера
Bogdan (SirEdvin)
шардирование когда люди запросы через орм пишут?
В постгресе же есть прозрачное шардирование через виртуальные таблицы, нет?
Старый
В постгресе же есть прозрачное шардирование через виртуальные таблицы, нет?
ты предлагаешь мне продумать за них архитекруту и все их таблицы и тд до марта? нужно сделать сейчас так, чтобы они никого не нанимая и не переделывая архитектуру жили до марта а желательно до сентябре следующего года
Старый
В постгресе же есть прозрачное шардирование через виртуальные таблицы, нет?
у людей вообще изначально было желание делать postgresql xl, https://www.postgres-xl.org/, но на сколько мне известно, с запросами через орм там делать нечего, там уже надо нанимать дб программиста и полностью им жить
J
Всем привет. подскажите пожалуйста с проблемой EXT4-fs warning (device sdb): ext4_dx_add_entry:2199: inode #524328: comm imap: Directory index full! Есть dovecot который 5 лет работал и накопил миллионы файлов в одной папке. Я не могу прочитать эти файлы или посмотреть их размеры и тд. Можно ли как то средствами dovecot раскидать их в подпапки, умеет ли dovecot работать с подпапками? сейчас dovecot использует maildir движок для хранения. поможет ли переход на mdbox не получить такое через время? ubuntu16 x64
J
lol
не смешно. я вляпался в какашку которую сделал не я
J
вообще как люди живут с dovecot . как храните письма
J
вот тут писем за 5 лет примерно
J
помогите подскажите.
J
у меня с dovecot опыт совсем малый
Dmitry
тут, мне кажется, помощь будет релевантнее https://t.me/ru_email
Maksim
Типо письма надо сохранить?
Александр
В папочках лежат
Александр
vmail
J
Типо письма надо сохранить?
ну да или сделать форматирование типа в подпапочки
J
основная проблема в том что все эти письма лежат в одной папке
J
В папочках лежат
можно подробнее
Combot
J M (0) увеличил репутацию Nihil Homini (1) (+1)
Александр
Папка vmail в ней папки по доменам, дальше по пользователям
Александр
Тадам
George
у него даже в юзерах 100500 файлов
George
🤦‍♂️🤦‍♂️🤦‍♂️🤦‍♂️
George
довели, называется, до критической точки
Александр
Хороший какой
J
у меня есть 2 папочки проблемные
J
cur и tmp
George
тем более