потому что пол может занимать в среднем пол таблицы

Но в некоторых странах лишь 1/7 таблицы. Простите)

туплю ппц..

➜ ~ sudo service postgresql status ● postgresql.service - PostgreSQL RDBMS Loaded: loaded (/lib/systemd/system/postgresql.service; enabled; vendor preset: enabled) Active: active (exited) since Чт 2018-05-17 17:10:28 +05; 5min ago Main PID: 4713 (code=exited, status=0/SUCCESS) май 17 17:10:28 lip systemd[1]: Starting PostgreSQL RDBMS... май 17 17:10:28 lip systemd[1]: Started PostgreSQL RDBMS. май 17 17:10:30 lip systemd[1]: Started PostgreSQL RDBMS.

типа всё норм, но!:

➜ ~ sudo netstat -nltp | grep 5432 ➜ ~ sudo netstat -nltp | grep 5433 ➜ ~ sudo netstat -nltp | grep 5431 ➜ ~ sudo netstat -nltp | grep 5430 ➜ ~ sudo netstat -nltp | grep 5434

➜ ~ ps axf | grep postgres 5800 pts/18 S+ 0:00 | \_ grep —color=auto —exclude-dir=.bzr —exclude-dir=CVS —exclude-dir=.git —exclude-dir=.hg —exclude-dir=.svn postgres ➜ ~

➜ ~ psql psql: не удалось подключиться к серверу: Нет такого файла или каталога Он действительно работает локально и принимает соединения через доменный сокет "/var/run/postgresql/.s.PGSQL.5432"? ➜ ~

sudo service пишет, что всё ок, но постгреса нет на порту, и процесса с таким именем тоже нет

и psql ессно не подключается

удалял purge, ставил без ошибок, перезагружался - не работает

народ, прошу, помогите, а?

а что в конфиге он должен слушать?

а что в конфиге он должен слушать?

ты мне? в каком именно конфиге?

так он вообще не запустился, видимо

в postgresql.conf

так он вообще не запустился, видимо

дак видимо..

в postgresql.conf

Или pg_hba?..

в postgresql.conf

unix_socket_directories = '/var/run/postgresql'

в pg_hba уже права, а перед правами слушать нужно

я даже не понимаю где логи ошибок смотреть, ибо сервис то не работает, а при запуске от sudo service никаких ошибок нет...

загляните в /var/logs/postgres, если есть

он же по дефолту вроде в свою папку пишет логи

типа data/pg_log

➜ ~ cat /var/log/postgresql/postgresql-9.6-main.log ➜ ~

больше в той папке логов нет

union не пойдет?

нет никак

or?

or?

не поддерживается

как не поддерживается?

в BQ нельзя так соединять

в чём?

Google Big query

этот чат по postgresql, в postgresql можно писать любое логически валидное выражение в on в join

Case when ..

так что искать, какими костылями обойти в вашей БД

Or свяжет в обоих случаях. Если привязался первый надо ли вязать второй?

интересно, кстати, если в postgres его в fdw подтянуть, оно ведь сделает этот join

where a1=b1 or (a1 != b1 and a2=b2)

этот чат по postgresql, в postgresql можно писать любое логически валидное выражение в on в join

Спасибо просто нету пока рускоязычного чата по BQ.

Спасибо просто нету пока рускоязычного чата по BQ.

довольно легко сделать "очень быструю" технологию, просто запретив все медленные операции :)

давайте сделаем такой суперскоростной постгрес. если в запросе есть два секскана и nested loop join, выдавать "запрос не поддерживается".

довольно легко сделать "очень быструю" технологию, просто запретив все медленные операции :)

сарказм сарказмом, но в этой действительно есть смысл. не давать разработчику выстрелить в ногу

в постгре триггеры могут только процедуры вызывать? обычный кусок кода нет возможности?

что такое обычный кусок кода?

if (...) update ...

давайте сделаем такой суперскоростной постгрес. если в запросе есть два секскана и nested loop join, выдавать "запрос не поддерживается".

те же ограничения clickhouse позволяют добиться других преимуществ

if (...) update ...

чем хранимка отличается от простого кода?

тем, что выполняется в контексте сервера баз данных

тем, что ее нужно создать и хранить где-то, и тем что ее может вызвать другой

и если у вас 200 триггеров, то как я понял, вы обязуетесь создать 200 процедур

или можно обойтись без них?

и если у вас 200 триггеров, то как я понял, вы обязуетесь создать 200 процедур

Просто 200 триггеров которые могут вызывать однуи ту же процедуру. Например запись действия в таблицу аудита.

ребята, вопрос не в этом) если есть политика "ухода от процедур" то есть ли возможность создать триггер на постгре без процедур

ребята, вопрос не в этом) если есть политика "ухода от процедур" то есть ли возможность создать триггер на постгре без процедур

))))) так уход от процедур и тригеров тоже. это ж взаимосвящанные вещи. логику стараются в приложение переносить

"уход от логики в базе"

))))) так уход от процедур и тригеров тоже. это ж взаимосвящанные вещи. логику стараются в приложение переносить

да, но в sql server'e триггеры не требуют процедур, поэтому и спрашиваю

"уход от логики в базе"

вот правильный ответ

да, но в sql server'e триггеры не требуют процедур, поэтому и спрашиваю

Наверное, потому, что там только один язык хранимых процедур, а в PostgreSQL —- несколько. Кроме того, такая реализация даёт возможность использовать ту же хранимку для нескольких триггеров.

Oracle developer  Уровень зарплаты  От 65 000 ₽  Город Новосибирск  Специализации по заявке  Информационные технологии, интернет, телеком  Программирование, Разработка Обязанности:  Участие в автоматизации финансовых проектов, таких как бюджетирование, управленческий учет, и др.  Автоматизация и диспетчеризация производства.  Требования:Что требуется от вас:  Хорошее знание sql и pl/sql - коллекции, аналитические функции, рекурсивные запросы, базовые навыки оптимизации.  Опыт проектирования БД - анализ предметной области, моделирование, нормализация, денормализация.  Умение разбираться в чужом коде.  Умение понять пользователя, нацеленность на конечный результат и клиентоориентированность. Знание системы контроля версий - git.  Нездоровая тяга к документированию своего кода.  Условия:  Современные технологии разработки,  Трудоустройство по ТК РФ и стабильную заработную плату 2 раза в месяц,  Уровень заработной платы определяется по результатам собеседования a.svetlana.art@gmail.com

так себе заход

Oracle developer  Уровень зарплаты  От 65 000 ₽  Город Новосибирск  Специализации по заявке  Информационные технологии, интернет, телеком  Программирование, Разработка Обязанности:  Участие в автоматизации финансовых проектов, таких как бюджетирование, управленческий учет, и др.  Автоматизация и диспетчеризация производства.  Требования:Что требуется от вас:  Хорошее знание sql и pl/sql - коллекции, аналитические функции, рекурсивные запросы, базовые навыки оптимизации.  Опыт проектирования БД - анализ предметной области, моделирование, нормализация, денормализация.  Умение разбираться в чужом коде.  Умение понять пользователя, нацеленность на конечный результат и клиентоориентированность. Знание системы контроля версий - git.  Нездоровая тяга к документированию своего кода.  Условия:  Современные технологии разработки,  Трудоустройство по ТК РФ и стабильную заработную плату 2 раза в месяц,  Уровень заработной платы определяется по результатам собеседования a.svetlana.art@gmail.com

привет! а в России всё ещё не запретили Oracle?

Не все сразу

Oracle developer  Уровень зарплаты  От 65 000 ₽  Город Новосибирск  Специализации по заявке  Информационные технологии, интернет, телеком  Программирование, Разработка Обязанности:  Участие в автоматизации финансовых проектов, таких как бюджетирование, управленческий учет, и др.  Автоматизация и диспетчеризация производства.  Требования:Что требуется от вас:  Хорошее знание sql и pl/sql - коллекции, аналитические функции, рекурсивные запросы, базовые навыки оптимизации.  Опыт проектирования БД - анализ предметной области, моделирование, нормализация, денормализация.  Умение разбираться в чужом коде.  Умение понять пользователя, нацеленность на конечный результат и клиентоориентированность. Знание системы контроля версий - git.  Нездоровая тяга к документированию своего кода.  Условия:  Современные технологии разработки,  Трудоустройство по ТК РФ и стабильную заработную плату 2 раза в месяц,  Уровень заработной платы определяется по результатам собеседования a.svetlana.art@gmail.com

Казалось бы, причём тут postgres?

Казалось бы, причём тут postgres?

sql жи

Привет! Тут есть питонисты? У меня psycopg, делаю запрос cursor.execute() — отрабатывает один час. Затем прохожу по всем строкам и складываю их в dict — неожиданно, ещё один час. Вопрос: может ли быть такое, что банальная итерация по строкам занимает столько же времени, сколько сам запрос? Строк чуть больше миллиона.

э...

Писал я на нём...

Привет! Тут есть питонисты? У меня psycopg, делаю запрос cursor.execute() — отрабатывает один час. Затем прохожу по всем строкам и складываю их в dict — неожиданно, ещё один час. Вопрос: может ли быть такое, что банальная итерация по строкам занимает столько же времени, сколько сам запрос? Строк чуть больше миллиона.

Есть и нет.

Привет! Тут есть питонисты? У меня psycopg, делаю запрос cursor.execute() — отрабатывает один час. Затем прохожу по всем строкам и складываю их в dict — неожиданно, ещё один час. Вопрос: может ли быть такое, что банальная итерация по строкам занимает столько же времени, сколько сам запрос? Строк чуть больше миллиона.

Я кажется понимаю в чём проблема. cursor.execute() НЕ ВЫПОЛНЯЕТ запрос до конца. Он только НАЧИНАЕТ ВЫПОЛНЯТЬ запрос и формирует первую порцию данных. Остальные данные ВЫЧИСЛЯЮТСЯ по мере продвижения по курсору вперёд. В общем, твои представления о том, как мерить время запроса, немного неверны. Надо открыть курсор, и профетчить все данные

Я кажется понимаю в чём проблема. cursor.execute() НЕ ВЫПОЛНЯЕТ запрос до конца. Он только НАЧИНАЕТ ВЫПОЛНЯТЬ запрос и формирует первую порцию данных. Остальные данные ВЫЧИСЛЯЮТСЯ по мере продвижения по курсору вперёд. В общем, твои представления о том, как мерить время запроса, немного неверны. Надо открыть курсор, и профетчить все данные

бред

Показалось что ты ответил сам себе.

Я кажется понимаю в чём проблема. cursor.execute() НЕ ВЫПОЛНЯЕТ запрос до конца. Он только НАЧИНАЕТ ВЫПОЛНЯТЬ запрос и формирует первую порцию данных. Остальные данные ВЫЧИСЛЯЮТСЯ по мере продвижения по курсору вперёд. В общем, твои представления о том, как мерить время запроса, немного неверны. Надо открыть курсор, и профетчить все данные

Хм, это было бы очень странно. Сейчас, подожду завершения выполнения и запущу запрос в pgadmin

я бы убился бы час ждать

удивительно, что это не кажется первостепенной проблемой

это проблема, да. Я когда-то сократил с двух, но дальше забил

может тогда возвращать сырые данные в python и обрабатывать там?

Тогда получится вложенный запрос, что едва ли быстрее. Если интересно, запрос вот: https://github.com/Zverik/omim/blob/75264b67534e739c4219e9055b250f8f9f8742a9/tools/geocoder_pg/places_feed.py#L13 (в таблице под 2 млн строк, но из-за place in (...) получается seq scan, т.к. под условие попадают больше половины строк)

Хм, это было бы очень странно. Сейчас, подожду завершения выполнения и запущу запрос в pgadmin

Не забудь и там дофетчить до конца.

нельзя не дофетчить до конца

Хм, это было бы очень странно. Сейчас, подожду завершения выполнения и запущу запрос в pgadmin

ЧТо было бы странно? Твой запрос сколько строк возвращает?

нельзя не дофетчить до конца

Это зависит от клиента. Далеко не все дофетчивают.

def exec_func_select(self, query): conn = psycopg2.connect(self.CONN_STRING) cursor = conn.cursor() try: cursor.callproc(query) output = cursor.fetchall() return output except psycopg2.Error as e: print(e.pgerror) print(e.diag.message_detail) sys.exit(1) finally: cursor.close() conn.close()

как тут не дофетчить?

@ilyazver попробуй лучше пачками данные читать, а не всё сразу в память

раз так много

Тогда получится вложенный запрос, что едва ли быстрее. Если интересно, запрос вот: https://github.com/Zverik/omim/blob/75264b67534e739c4219e9055b250f8f9f8742a9/tools/geocoder_pg/places_feed.py#L13 (в таблице под 2 млн строк, но из-за place in (...) получается seq scan, т.к. под условие попадают больше половины строк)

LEFT JOIN osm_polygon adm4 ON ST_Intersects(adm4.way, pl.centroid) AND adm4.rank = 4 JOIN по функции — совсем не лучший выбор для улучшения производительности.

мне думается что эффективнее будет

@ilyazver попробуй лучше пачками данные читать, а не всё сразу в память

Они и так не все читаются в память.

ЧТо было бы странно? Твой запрос сколько строк возвращает?

1,1 млн примерно

def exec_func_select(self, query): conn = psycopg2.connect(self.CONN_STRING) cursor = conn.cursor() try: cursor.callproc(query) output = cursor.fetchall() return output except psycopg2.Error as e: print(e.pgerror) print(e.diag.message_detail) sys.exit(1) finally: cursor.close() conn.close()

fetchall — да, но я имел в виду в pgAdmin. Я не помню как он там выбирает, по требованию или всё.

1,1 млн примерно

Как сам думаешь, СУБД имеет память чтобы хранить твои эти 1.1. млн записей?

fetchall — да, но я имел в виду в pgAdmin. Я не помню как он там выбирает, по требованию или всё.

как настроешь

Как сам думаешь, СУБД имеет память чтобы хранить твои эти 1.1. млн записей?

в shared_cache вообще вся база может влезть