общая ломкость всеё процедуры.

Странный вы человек. Ерундой занимаетесь вместо того чтобы установить один из менеджеров и жить дальше

Ребят есть каталог sql файлов нужно их перегнать в PostgreSQL, есть ли лёгкий и изящный способ для решения этой задачи

Ребят есть каталог sql файлов нужно их перегнать в PostgreSQL, есть ли лёгкий и изящный способ для решения этой задачи

https://wiki.postgresql.org/wiki/Converting_from_other_Databases_to_PostgreSQL

Коллеги, в какое значение нужно установить pager чтобы было как раньше - постраничный вывод, но в конце чтобы была новая строка консоли, а не (END)?

Less

Less

кажется, лесс не выходит на строку новой команды

А. More

Лесс позволяет мотать обратно

Море выходит в конце

Море выходит в конце

море, точн! доеду и попробую. лесс этому поведению можно научить?

Зочем

Если есть море

)))

Можно вообще пейджер вырубить а листать в скрине

Я так делаю

less -E

А. More

thx

А pg_stat_statements не сильно влияет на производителность, я понимаю он исполняется только сборщиками типо mamonsu?

А pg_stat_statements не сильно влияет на производителность, я понимаю он исполняется только сборщиками типо mamonsu?

Влияет, но как именно, надо смотреть в каждом конкретном случае.

Вот в этой статье посмотрели и сравнили:

Waiting for 9.2 – pg_stat_statements improvements | select * from depesz; https://www.depesz.com/2012/03/30/waiting-for-9-2-pg_stat_statements-improvements/

Waiting for 9.2 – pg_stat_statements improvements | select * from depesz; https://www.depesz.com/2012/03/30/waiting-for-9-2-pg_stat_statements-improvements/

Спасибо, то что искал. Для отладки идеальный инструмент, а в продакшене и так не все радужно

делаю импорт из csv, такая ошибка ОШИБКА: нехватка памяти ПОДРОБНОСТИ: Не удалось увеличить строковый буфер (в буфере байт: 1073741588, требовалось ещё 264). КОНТЕКСТ: COPY dfr, строка 53036214 подскажите какой памяти ей не хватает?

файлик примерно 17 гб в utf8, ~53М строк

делаю импорт из csv, такая ошибка ОШИБКА: нехватка памяти ПОДРОБНОСТИ: Не удалось увеличить строковый буфер (в буфере байт: 1073741588, требовалось ещё 264). КОНТЕКСТ: COPY dfr, строка 53036214 подскажите какой памяти ей не хватает?

work_mem сколько стоит? И автовакуум на время импорта выключи.

work_mem сколько стоит? И автовакуум на время импорта выключи.

work_mem 64Mb

work_mem 64Mb

Я бы увеличил до 128, а на серваке сколько? Там только БД?

делаю импорт из csv, такая ошибка ОШИБКА: нехватка памяти ПОДРОБНОСТИ: Не удалось увеличить строковый буфер (в буфере байт: 1073741588, требовалось ещё 264). КОНТЕКСТ: COPY dfr, строка 53036214 подскажите какой памяти ей не хватает?

кажется, просто оперативной

1 073 741 588 - это гигабайт. смотри, чего у тебя гигабайт :)

Оперативы 4

А work_mem для COPY разве имеет значение? Он просто потоком читает данные.

Оперативы 4

а свободной?

Свободной пару гигов есть) разрежу файл, попробую кусками

свободной 3 гига. скажите, а индекс по всем полям такой таблицы займет еще 17 гигов или меньше?

А какой максимальный размер поля в данных? Может там text или clob размером а гиг?

все поля text

размер килобайт 10 самый большой

Осталось всего несколько дней до закрытия регистрации на участие в чемпионате по PostgreSQL — #PGHACK! Соревнование пройдет в Москве 2 сентября. Будем: - управлять базами данных в боевом режиме и решать нетривиальные задачи; - общаться с коллегами и единомышленниками; - получать сувениры и призы по итогам соревнования. Чемпионов PostgreSQL ждут здесь: https://goo.gl/7Wv1yj. Регистрация продлится до 31 августа включительно!

Всем привет господа. Помогите заоптимизировать запрос. Есть таблица, уникалится по двум полям, есть третье поле уникальное само по себе. На вход получаю пару первых ключей на выходе должна быть запись с этими ключами и полем num, которое в простом случае должно увеличиваться просто на +1, но если будет удалена какая то предыдущая строка то num должен заполнить дырку.

https://gist.github.com/yakunink/e2146a5cf756470819cdc240edb398dc

Лесс позволяет мотать обратно

f / b в more позволяют мотать.

Привет! Подскажите, для PG есть какой-то лимит размера таблицы, при котором резко падает производительность?

Скажем 10 млн записей нормально будет держать? Или нужно будет уже грамотно оптимизировать?

Вопрос в том как ты будешь использовать таблицы. У меня таблы сейчас на миллиард записей

Индекс только стандартный по ключу и доп поле

Текстовые поля?

Ключ лонг, поле текст(на котором индекс)

Круто :)

У меня частый поиск по индексу, и частая вставка новых элементов

Планируется 15 -30 миллиардов записей. Но это ещё через год

И вставка адекватное время занимает?

Да. Вставка батчами по 30к записей

Для меня адекватное:) секунд 40

Перестроение индекса то есть вполне адекватно работает?

40 сек - это с индексом же, да?

Да

Я так понимаю, переиндексация как раз и занимает основное время.

Ну... круто. Спасибо за ответ - это то, что нужно ))

ERROR: S client not available

Я не эксплейнил выполнение, но предполагаю, что индексация это основное время.

Пока живём. Но основные данные я храню в кликхаусе

В пг только справочники

Кликхаус я не изучал еще пока. Хорошая штука? :)

Для сравнения, делал когда прототип на монге. Проблемы уже были с таблицами в 20 миллионов документов

Кликхаус я не изучал еще пока. Хорошая штука? :)

Отличная, но специфичная

В том плане, что предлагает непривычный подход? Или накладывает какие-то ограничения на данные и операции с ними?

В том плане, что предлагает непривычный подход? Или накладывает какие-то ограничения на данные и операции с ними?

Ограничения. Нет транзакций, нет delete update.

Идеальна для временных рядов

Так как в основном движке в пк обязательно поле с датой

Плата за скорость

Монга вроде же в памяти все хранит? Видимо проблемы начинаются, когда в своп уходит все.

Монга вроде же в памяти все хранит? Видимо проблемы начинаются, когда в своп уходит все.

Монга хранит на диске в памяти горячие данные

Монга вроде же в памяти все хранит? Видимо проблемы начинаются, когда в своп уходит все.

А так же блокирует таблицу при вставке

Вон оно что. Понятно.

У кликхауса можно много данных, хранить?

Надо будет глянуть :)

У кликхауса можно много данных, хранить?

Много, он используется в яндекс метрике для хранения пользовательских кликов, которых миллиарды в день

Там есть кластеризация какая-то из коробки?

Там есть кластеризация какая-то из коробки?

Есть, но через зукипер

Александр, спасибо за полезную информацию. Будем углубляться :)

CRM задумали писать с своим производством и секретаршами )))

CRM задумали писать с своим производством и секретаршами )))

CRM на кликхаусе?!

Это не точно ?

Но часть данных, мало ли.

срм на колоночной бд. однако...

база в которой нельзя update+delete+join для crm.

рекомендую тогда писать на ассемблере.

В коде все смержат, не мешайте людям црм делать