SSD?)))

Много SSD

Я не представляю на каких ресурсах такую БД можно нормально читать

а ее не надо быстро читать

И оперативы много

Ну так на 50+ ТБ это прям не копейки

Я не представляю на каких ресурсах такую БД можно нормально читать

Ну там чтение как раз 10% вроде. Как писали выше.

Если заказчик хочет такое то видимо располагает бюджетом

а ее не надо быстро читать

Ну расскажите подробнее - может вы вообще не того хотите

write only хорошо сжимается

И поди чтение только последних данных

А все таки интересно что за система? Биллинг?

Или аналитика

Не у аналитики чтения больше.

чото типа еагис

насколько я понимаю

выборка по данным какая планируется? Может там вообще файловая система на кучу фалов нужна? Типа HDFS.

выборка по данным какая планируется? Может там вообще файловая система на кучу фалов нужна? Типа HDFS.

а никакая вроде, ключ-значение

давай зададим вопрос иначе. как кто-то выяснит, что вы ничего не записали?

обратится по ключу :)

ну вот как в еагисе, чек отсканит -и получит болт :)

Ну тогда лучше думать насчет 2х БД - 1 с смысловой нагрузкой - postgres, другая тупое key-value с шардингом на много нод и репликой (aka couchbase, cassandra etc)

?дело говорит

ага, спасибо

Раз зашла речь - кто то тестировал синхронную репликацию на производительность? Есть приложение хранящее перс. данные (поэтому нет возможности купить rds) и данные по онлайн продажам. Сейчас оно работает на mssql, но лицензии и все прочее стоит денег, хочется поменять mssql на слона, но про него не могу найти тестов и отзывов на встроенную репликацию... все статьи про форки или штуки вида pg-pool и к тому же статьи все от 2013-2014 годов

Но тут возникает такой момент, что слейв вам так или иначе нужен (фейловер делать, например на момент апдейта). И еще думать, что данные в обоих базах целостны.

Раз зашла речь - кто то тестировал синхронную репликацию на производительность? Есть приложение хранящее перс. данные (поэтому нет возможности купить rds) и данные по онлайн продажам. Сейчас оно работает на mssql, но лицензии и все прочее стоит денег, хочется поменять mssql на слона, но про него не могу найти тестов и отзывов на встроенную репликацию... все статьи про форки или штуки вида pg-pool и к тому же статьи все от 2013-2014 годов

на перконе работало ок, PG не пробовал

Я не представляю на каких ресурсах такую БД можно нормально читать

Шардить так или иначе

А все таки интересно что за система? Биллинг?

Сорм у провайдера походу

Если правда трафик записывать, то лучше кассандры/сциллы сложно придумать вариант, партицию по айпишнику и вперед

Но все эти навязанные одним там правительством требования суть античеловечны и мне проще от такого вообще отказываться

точно не знаю, какие-то "пакеты данных"

У меня одного закон Яровой всплыл в памяти? А вижу, не у одного.

Слово хадуп на таких данных было?

хадупа не было :)

но вообщем чем-то похоже на закон яровой

все писать, по запросу читать

но кол-во данных существенно меньше :)

Импортозамещаете сорм-2 ? :)

Но кто же написал четыре миллиона запросов

для сорм я бы выбрал какой-нибудь ceph :)

а кассандра умеет отдельные данные в разные места складывать?

ну то есть данные таблицы $a хранить в /mnt/$a

в host-$a, скорее

ну в принципе тоже подойдет. это к тому что старые данные надо будет когда-нибудь убивать

у нее есть ttl для записей (хотя слишком большие SST, насколько понимаю, не обрабатываются ни при одной стратегии)

но проще втупую делить по месяцам

и дропать старые таблицы

а что есть ключ в данном случае?

могу предложить ту архитектуру которую ща сам катаю

там тож постоянная запись всего и вся в сигнальной сети

в общем идея в том, чтоб лить все в kafka (там есть и реплицирование и все такое). Каждый пакет в kafka имеет свой уникальный адрес типа: topic/partition/offset и сохранять куда-нибудь в индекс такую штуку: <timestamp, business-key>-<topic/partition/offset>

т.е. зная бизнес ключ + время в котором ты хочешь найти данные, выгребаешь те координаты, где хранятся сырые "пакеты" и точечно читаешь их

запись в kafka очень дешевая

чтение, если его немного, то можно осилить

Господа, а есть ли инфа на просторах, про тестирование пг на разных фаловых системах + разные варианты страйп сайза ?

И вообще был ли бы интерсен такой тест ?

Или всё давно уже известно и я просто не там ищу ?

просто вы ищите не в гугле https://www.google.com.cy/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=postgres+btrfs+ext4

и действительно не в нём

спасибо

ребят

немного офтопа про sqlite можно?

просто вы ищите не в гугле https://www.google.com.cy/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=postgres+btrfs+ext4

а .cy - это где?..

кипр

ага

ааа

спасибо :)

https://t.me/Blockchain_Developers

забаньте негодяя, пожалуйста

да он прям кругом лезет

Второй за два дня. По многим ИТ-чятам наблюдается.

Со вчера на них сотня человек подписалась. Кто эти люди?

любители блокчейна

прорекламируйте у них какой-нибудь миксер или соковыжималку в группе пожалуйста

прорекламируйте у них какой-нибудь миксер или соковыжималку в группе пожалуйста

ахаха !

Я пытался

кого там ещё не успели забанить, самое время :)

Можно ещё админам в личку писать )

самое забавное, после того, как забанят, появляется кнопка "report spam" :))

Юзерид есть?

А то мне как раз некуда свою ссылку присунуть

Я так понял, что это @abaev )

Никто не делал замеры. связанные таблицы по нагрузке также как и обычные при стандартном select?

ну то есть таблица обычная и таблица у которой есть связь с другой таблицей

что такое "таблица, у которой есть связь с другой таблицей"?

селект от внешних ключей в теории вообще не должен страдать

Ну имеет в виду наверное 2 таблицы. Первая пара со связью один-ко-многим через FK, а вторая пара - несвязная

мало ли у него там селект с natural join

страдат по локу по fk

но это такой шум, если нет апдейтов

ну типа не мешает

связь один ко многим. выполняю обычный select без джойнов

просто когда таблица без связи - она работает быстрее, как мне кажется.