давайте его уже забаним ? :)

Хоть из Нигерии, можно же вести себя нормально или это сложно?

давайте его уже забаним ? :)

ридонли ему дайте.

Тут не работает нифига

Нет можордома...

Тут не работает нифига

Работает

А инструкция где ?

А инструкция где ?

В книге

да ладно уебки, я с украины на самом деле

/warn

/warn

Че эт вы делаете?

Кастуют бан или просто выражют свою активную гражданскую позицию)

/warn

да ладно уебки, я с украины на самом деле

/warn

Кастуют бан или просто выражют свою активную гражданскую позицию)

Груповой каст? И вроде как манны не хватает

да ладно уебки, я с украины на самом деле

/warn

/warn

/warn

/stat@combot

combot.org/chat/-1001045152752

Читал в захлеб

Читал в захлеб

Убийца зебра

Привет DBA. Есть вопрос. Имеется 30 слов в таблице words. Нужно нагенерировать в бд ~30^6 уникальных комбинаций из этих слов в таблицу comb БД PGSQL, но мы можем взять любую если нужно Как мы решали: Создавали таблицу без индексов, а индексы ставили потом. 1. Написали функцию которая брала. например первые 4 комбинации и генерировала . 16 одновременно дабы в 16 потоков. долго 2. В несколько потоков генерировали ЯП. очень долго 3. Фунцией генерировали в рам таблицу и уже раз в пару часов переносили в нормальную. Если еще идеи как ускорить ? или сменить бд может быть? Если что пробовали на сервере с 96 гб рам и ксеоном с 16 потоками.

Генерировали чисто числа, добивались маленького прироста

вы собираетесь вставить 729 млн строк

какая скорость у вас получилась? (сколько времени потратили на вставку?)

Если бы только вставить. нам еще их нагенерировать нужно.

генерируется любым языком программирования очень быстро (на порядки раз быстрее чем вставлять в бд)

От недели и выше, в зависимости от метода.

не, неделя много

1205/сек вы вставляете

это очень медленно

генерируется любым языком программирования очень быстро (на порядки раз быстрее чем вставлять в бд)

Если раз в пару часов стравлять то норм. иначе мы забивали память всю

В целом алгоритм верный ? или может колоночные бд лучше подойдут(ничего не знаю о них) ?

Если раз в пару часов стравлять то норм. иначе мы забивали память всю

ну надо генератор или ленивость

я сейчас потыкал на руби

с 36 словами

генерирует мгновенно 1251677700 комбинаций

из 12 слов перекрёстных

прям даже без задержки

Генерировали чисто числа, добивались маленького прироста

Надо просто программу написать и все

у вас узкое место конечно же - это вставка в БД

words.combination(12).each { |pr| p pr } вот программа на руби =)

память не жрёт

фигачит быстро

Да надо через Bulck copy вставляю

Привет DBA. Есть вопрос. Имеется 30 слов в таблице words. Нужно нагенерировать в бд ~30^6 уникальных комбинаций из этих слов в таблицу comb БД PGSQL, но мы можем взять любую если нужно Как мы решали: Создавали таблицу без индексов, а индексы ставили потом. 1. Написали функцию которая брала. например первые 4 комбинации и генерировала . 16 одновременно дабы в 16 потоков. долго 2. В несколько потоков генерировали ЯП. очень долго 3. Фунцией генерировали в рам таблицу и уже раз в пару часов переносили в нормальную. Если еще идеи как ускорить ? или сменить бд может быть? Если что пробовали на сервере с 96 гб рам и ксеоном с 16 потоками.

Генерить яп и писать батчами

Вставлять

Генерить яп и писать батчами

вооот

Генерить яп и писать батчами

спс.

а может всё писать частями в текстовые файлы и импортить их

Это пофиг

на мускуле самая быстрая вставка через LOAD DATA INFILE ...

Как угодно

то есть тупо файлики с разделением табами клепаешь и частями вгружаешь

и индексы да, потом назначать

ну на постгре думаю тоже такой способ есть

Возможно лучше будет хадупы и т.п., но точно не уверен и это выкидывание постгреса по сути

В целом алгоритм верный ? или может колоночные бд лучше подойдут(ничего не знаю о них) ?

я думаю тут зависит от сценариев использования этих данных

Возможно лучше будет хадупы и т.п., но точно не уверен и это выкидывание постгреса по сути

интересно. Это даст какое-то преимущество ? В идеали нам бы нагенерировать 30^7 У нас много данных пишется в psql (аналитический сервис) (1тб сырых данных в день)

В целом алгоритм верный ? или может колоночные бд лучше подойдут(ничего не знаю о них) ?

Почти все колоночные рекомендуют/обязывают использовать батчи при вставке. Прирост записи от постгреса - хз, а вот чтение точно выйграете

Ваще мудрее было бы вообще не вставлять эти 30 млн

https://www.postgresql.org/docs/current/static/sql-copy.html вот аналог того что я про мускуль писал

интересно. Это даст какое-то преимущество ? В идеали нам бы нагенерировать 30^7 У нас много данных пишется в psql (аналитический сервис) (1тб сырых данных в день)

А в чем практический смысл?

интересно. Это даст какое-то преимущество ? В идеали нам бы нагенерировать 30^7 У нас много данных пишется в psql (аналитический сервис) (1тб сырых данных в день)

Не умею в хадуп, руки не доходят, поэтому не отвечу на вопрос

кстати, да

а зачем вам в базу это совать?

Возможно лучше будет хадупы и т.п., но точно не уверен и это выкидывание постгреса по сути

Если тупо писать. То несомнено

Главное логи отключить

В ту же касандру вали все кучей

А в чем практический смысл?

На счет комбинаций. Нужно знать в какие комбинации входит определенный обьект. Мы постоянно считаем эти комбинации и сравниваем.

так хешируйте и сравнивайте хеши?

и хранить это барахло не надо будет

аааа, он может частично совпадать?

да

Тоже думали. но раз в 24 часа у обьектов могут меняться комбинации

На счет комбинаций. Нужно знать в какие комбинации входит определенный обьект. Мы постоянно считаем эти комбинации и сравниваем.

ну даже если и так, зачем в базе-то хранить?

ну есть объект, у него какие-то слова признаки

значит можете в памяти все комбинации для него рассчитать (дополнив недостающими)

А где еще ? Хранить то это говно нужно

и это быстрее чем в базу лазить

Тоже думали. но раз в 24 часа у обьектов могут меняться комбинации

Может начать с начала? Типа не с проблемы где то на полпути а с первоначальной задачи.

Может начать с начала? Типа не с проблемы где то на полпути а с первоначальной задачи.

?

А то звучит типа вот запускаем а оно рычит и не взлетает.. а потом выяснится что у вас танк и ему вообще не нада летать