С распределением нагрузки через днс и прочими плюшками

4 утилиты, 2 сервера и 1 база на 2 ssd

одну проблему решил, отключил дебилизм с запросами у майкрософт по поводу хрени одной, но пока проблема буфера не исчезла

А чего бы не взять что то простое и компактное?

1 ссд под логи и тп второй под данные

А чего бы не взять что то простое и компактное?

требование заказчика, мсскл

на кассандре эту же операцию делаю по 110к в сек

на кассандре эту же операцию делаю по 110к в сек

Чет вспомнил про neo4j и 1.7к в секунду на кластере из 3 серверов. :)

Чет вспомнил про neo4j и 1.7к в секунду на кластере из 3 серверов. :)

мне мсскл вообще не нравится, постгре на такой же теме делает 20к без тюнинга, а мсскл оттюнили как егаис на проде сейчас сделан а толку 0

мне мсскл вообще не нравится, постгре на такой же теме делает 20к без тюнинга, а мсскл оттюнили как егаис на проде сейчас сделан а толку 0

Хадупы рулят

Хадупы рулят

я клоудеру даже завести не смог, ей мало 16 дисков sas

поднялась, рейд под 100%

а другие железки по процам не потянут

я клоудеру даже завести не смог, ей мало 16 дисков sas

И зачем оно тебе

Еще одну табличку в 2 колонки негде разместить?

Еще одну табличку в 2 колонки негде разместить?

аналитику хотят на чатси проектов на нём

аналитику хотят на чатси проектов на нём

Это будет какая то специальная аналитик?

Это будет какая то специальная аналитик?

продажи товаров по всем регионам по ним кубы строить нужно

Или опять аааа у нас бигдата.. уже 10к строк в таблице экселя

Или опять аааа у нас бигдата.. уже 10к строк в таблице экселя

все продажи лекарств, обуви, табака в стране(легальные)

все продажи лекарств, обуви, табака в стране(легальные)

Попытался представить причем тут бд.. и не смог

Попытался представить причем тут бд.. и не смог

егаис почитай что такое, там уже база мсскл в 800 тб

но там вертика для этого

а тут вот хотят клоудеру

Вместо вертики (звук пилы)

https://www.vertica.com/

но гавердовский с фёртлайном сказал это фигня и клоудера лучше

егаис почитай что такое, там уже база мсскл в 800 тб

Почитал. Понял что они толком сами не знают что и как хотят. Потому и база на 800т

Почитал. Понял что они толком сами не знают что и как хотят. Потому и база на 800т

это мягко сказано, то что пишется в базу меняется чутли не каждый месяц с изменениями в законах

Вместо вертики (звук пилы)

эх жаль ты не пошёл в фку

это мягко сказано, то что пишется в базу меняется чутли не каждый месяц с изменениями в законах

Ну потому хадупы лучше зайдут. Та же касандра на ура потащит

Ну потому хадупы лучше зайдут. Та же касандра на ура потащит

кассандра на чтение плоха а там его много

кассандра на чтение плоха а там его много

Нрмально она на чтение. Просто нужно дождатся когда данные станут доступны для чтения

Нрмально она на чтение. Просто нужно дождатся когда данные станут доступны для чтения

у меня sqlщики при размере базы в кассандре в 2 тб уже не могут узнать кол-во записей в ней

это типо select * count ?

у меня sqlщики при размере базы в кассандре в 2 тб уже не могут узнать кол-во записей в ней

И зачем им это знать?

это типо select * count ?

типа почти ток () забыл

кинь им линк на datastax academy штоле

на меня оч ругатся, что я её не потимизировал и она им не выдаёт

Я больше 100кк в нее не набивал. Но счииала она их быстро

на меня оч ругатся, что я её не потимизировал и она им не выдаёт

Они читать умеют?

Я больше 100кк в нее не набивал. Но счииала она их быстро

я набивал 4 млрд продаж

Они читать умеют?

Нет. Они же sql

( хинт nodetool tablestats )

хотя бестпрактис сделать запись, и сразу селект на все

я набивал 4 млрд продаж

Ну у меня маленький старый сервер.

Нет. Они же sql

я месяц объяснял, что кафку надо допиливать под наши задачи, мне не верили, в итоге мне пришлось всё из тмп перенести в обычные разделы и терь столько говна сохраняется, зато очередь после ребута системы заново не считается.... но мне всё ещё не верят, что кафка по дефолту не готова и что её не надо допиливать

хотя бестпрактис сделать запись, и сразу селект на все

после 13 тыс записей селект из кассандра тул и носкл менеджера не выдаёт кол-во записей

я месяц объяснял, что кафку надо допиливать под наши задачи, мне не верили, в итоге мне пришлось всё из тмп перенести в обычные разделы и терь столько говна сохраняется, зато очередь после ребута системы заново не считается.... но мне всё ещё не верят, что кафка по дефолту не готова и что её не надо допиливать

Это же апач. Там по дефолту ничего не готово

после 13 тыс записей селект из кассандра тул и носкл менеджера не выдаёт кол-во записей

проблема в том, что твои dba не умеют читать

Это же апач. Там по дефолту ничего не готово

? у меня 12 адептов майкрософта которые не верят что такое может быть

проблема в том, что твои dba не умеют читать

проблема в том, что они кроме оракла 9 и мсскл 2003-2008 ничего знать не хотят

? у меня 12 адептов майкрософта которые не верят что такое может быть

Видел бы ты как разрабы апач матом орут. Когда подобные адепты им указывают что типа тут документация у вас не дописана. Там такие разборки

проблема в том, что они кроме оракла 9 и мсскл 2003-2008 ничего знать не хотят

Получай удовольствие, чо

проблема в том, что твои dba не умеют читать

смотрели решения для аналитики, подсказал яндекс кликхаус, в итоге мне говорят, что это вроде sql а вроде и нет, найди решение чтобы было станартный sql

?в итоге они апач кулин смотрят

он в разы хуже, но зато не надо привыкать к новому

?в итоге они апач кулин смотрят

А кибана типа не кошерн?

А кибана типа не кошерн?

хз

у меня sqlщики при размере базы в кассандре в 2 тб уже не могут узнать кол-во записей в ней

а примерное посмотреть как в постгресе там никак?

статистик нет?

Примерное есть, только не смогли прочитать документацию

лол, мой телефон)

кассандра на чтение плоха а там его много

ахаха

ахаха

Наверное он нас тролит

приветствую всех, друзья подскажите где посмотреть статистику заполнения таблспейсов

оракл

приветствую всех, друзья подскажите где посмотреть статистику заполнения таблспейсов

https://docs.oracle.com/cd/B28359_01/server.111/b28310/tspaces014.htm#ADMIN11413

приветствую всех, друзья подскажите где посмотреть статистику заполнения таблспейсов

скорее вот это http://docs.oracle.com/cd/E11882_01/server.112/e40402/statviews_4064.htm#REFRN23456

Всем привет. Есть задачка. Я её решил по своему, мои тесты прошли. Но мне сказали, что я с ней не справился, пока без уточнения подробностей. Мб кто подскажет другое решение? (своё пока не открываю) Есть табличка с кучей записей, и туда постоянно вставляют новые записи, очень часто. Каждая строка это документ, и у этого документа есть уникальный номер (varchar(32)), который формируется из даты его создания, его типа (А, Б, С, ...) и порядкового номера (int). И этот порядковый номер меняется от 1 до N в рамках дня создания(!) и типа документа(!). Т.е. номера, например, будут такие: 20170917/А-1 20170918/А-1 20170918/А-2 20170918/Б-1 20170918/С-1 20170918/С-2 20170918/С-3 20170919/А-1 ... Уникальный индекс на этот номер вешать нельзя по условию. При проверке запускается тест скрипт, четыре раза из четырёх разных сессий, который в цикле, с задержкой 50мс или около того, вставляет записи в эту табличку. Как реализовать заполнение такой таблички с формирлованием такого номера для каждого документа, но что бы не было задвоения этих номеров?

Т.е. интересует просто краткий примерный алгоритм как бы Вы это сделали.

Можно в лоб: сгенирировать все комбинации за день в таблицу и брать оттуда

Надо сделать таблицу со счётчиками документов по каждой дате и типу. Там инкрементировать и брать новый номер. Всё в одной транзакции, естественно.

Надо сделать таблицу со счётчиками документов по каждой дате и типу. Там инкрементировать и брать новый номер. Всё в одной транзакции, естественно.

Таблицу естественно надо поддерживать, создавать новые записи на каждый день и т.д.

"Уникальный индекс на этот номер вешать нельзя по условию." Уникальный индекс вешать НАДО.

"табличка с кучей записей, и туда постоянно вставляют новые записи, очень часто" очень часто не получится, поскольку INSERT-ы будут сериализоваться по дате и типу документа. Разные будут вставляться параллельно, одинаковые нет.

Ну и решение это чуть ли не единственное, поэтому если ты так и сделал, то очень удивительно было бы , если бы оно было воспринято как неверное.

можно на именных блокировках сделать, но мне кажется, что вариант с отдельной таблицей и счётчиком будет быстрее

плюс это от конкретной субд зависит

Ну и решение это чуть ли не единственное, поэтому если ты так и сделал, то очень удивительно было бы , если бы оно было воспринято как неверное.

может оно воспринято как неверное из-за того что параллельные инсерты в блокировку встали(пока счетчик в таблице не прокрутился и не закомитился сессии все 1 номер будут вставлять)

а по условию теста нужно было все тестовые зависи вставить без ошибок

может оно воспринято как неверное из-за того что параллельные инсерты в блокировку встали(пока счетчик в таблице не прокрутился и не закомитился сессии все 1 номер будут вставлять)

А они по-любому встанут. По постановке задачи.

если база оракл и юзать секвенс то нет. так как у него есть cache для последних 20 значений(по дефолту) в памяти

А они по-любому встанут. По постановке задачи.

... порядкового номера (int). И этот порядковый номер меняется от 1 до N в рамках дня создания(!) и типа документа(!)

если база оракл и юзать секвенс то нет. так как у него есть cache для последних 20 значений(по дефолту) в памяти

Тогда будут дырки в номерах.

Либо без дырок, и сериализуются по дате+тип, либо не сериализуются, но с дырками.

а постановка задачи не обязывает им быть последовательным быз дырок.

либо формулировка не точна

Ну , я процитировал. Я склонен это понимать как "без дырок".

Возможно, нужно уточнить.

Вот я как раз сделал через отдельную табличку с уникальным индексом, для хранения номеров. Добавил при формировании номера цикл с порядка 100 попытками, что бы если вдруг будет ошибка, повторили вставку ещё раз. Дырки в условии никак не оговариваются. Сказанно просто последовательно, по мере поступления. Никто документы не удаляет и ничег ос ними не делает.

ну мб где-то в реализации накосячил

спасибо за комментарии!

завтра узнаю причину)

Вот я как раз сделал через отдельную табличку с уникальным индексом, для хранения номеров. Добавил при формировании номера цикл с порядка 100 попытками, что бы если вдруг будет ошибка, повторили вставку ещё раз. Дырки в условии никак не оговариваются. Сказанно просто последовательно, по мере поступления. Никто документы не удаляет и ничег ос ними не делает.

Индекс-то зачем там уникальный ?

Индекс-то зачем там уникальный ?

дата+ тип документа = pk таблицы-счетчика