Вроде как по предварительным прикидкам ни индексов ни внешних ключей по этим словарям не будет, словарь всегда выбирается из базы целиком и засовывается в объекты в коде. Так что не осталось аргументов хранить реляционно :)

Согласен. Не стоит плодить сущности. В таком виде json — самое то.

спасибо

ну разве что effective io concurency

ну и надо понимать что эта опция: only affects bitmap heap scans

Всем привет, есть вопрос. В каком случае может быть ситуация когда в зависимости от id по которому идет выборка с условием сортировки в одном случае Sort Method: top-N heapsort Memory: 25kB используется, а в другом нет?

И как с ней бороться?

покажи запросы

вообще вот тут https://github.com/postgres/postgres/blob/master/src/backend/utils/sort/tuplesort.c#L1575 написано когда делается т.н. топ-н хип сорт

explain analyze SELECT "external_device_sessions".* FROM "external_device_sessions" WHERE "external_device_sessions"."exteral_user_device_id" = 5023436 AND (to_char(created_at, 'YYYY-MM-DD') = '2016-11-08' and latitude is not null) ORDER BY "external_device_sessions"."id" ASC LIMIT 1; explain SELECT "external_device_sessions".* FROM "external_device_sessions" WHERE "external_device_sessions"."exteral_user_device_id" = 269783 AND (to_char(created_at, 'YYYY-MM-DD') = '2016-11-08' and latitude is not null) ORDER BY "external_device_sessions"."id" ASC LIMIT 1;

в последнем heapsort не используется

Это случилось после того как я из таблицы external_device_sessions перенес и удалил данные за 2015 год

в старых данных фигурирует id 269783

и именно с ним запрос не кэшируется

быть может тебе лучше создать композитный индекс?

на сортировку с exteral_user_device_id

это самое, а покажи explain analyze на оба

а то ты пишешь что в последнем не используется, но он только с explain у тебя

мне кажется что переключение сортировки идет в рантайме

в этом случае

и я так и не понял почему ты не хочешь сделать композитный индекс

да я когда копировал забыл analyze

Сейчас кину explain

Композитный индекс хочу добавить, но не могу пока, таблица очень большая

всем привет есть кто-нибудь, кто может проконсультировать по асинхронным функциям libpq?

это самое, а покажи explain analyze на оба

Первый Limit (cost=1388.90..1388.91 rows=1 width=127) (actual time=0.059..0.059 rows=0 loops=1) -> Sort (cost=1388.90..1388.91 rows=1 width=127) (actual time=0.058..0.058 rows=0 loops=1) Sort Key: id Sort Method: quicksort Memory: 25kB -> Index Scan using index_external_device_sessions_on_exteral_user_device_id on external_device_sessions (cost=0.57..1388.89 rows=1 width=127) (actual time=0.050..0.050 rows=0 loops=1) Index Cond: (exteral_user_device_id = 5029272) Filter: ((latitude IS NOT NULL) AND (to_char(created_at, 'YYYY-MM-DD'::text) = '2016-11-08'::text)) Rows Removed by Filter: 5 Total runtime: 0.117 ms Второй Limit (cost=0.57..22107.31 rows=1 width=127) (actual time=49507.899..49507.900 rows=1 loops=1) -> Index Scan using external_device_sessions_pkey on external_device_sessions (cost=0.57..9726967.16 rows=440 width=127) (actual time=49507.899..49507.899 rows=1 loops=1) Filter: ((latitude IS NOT NULL) AND (exteral_user_device_id = 269783) AND (to_char(created_at, 'YYYY-MM-DD'::text) = '2016-11-08'::text)) Rows Removed by Filter: 76169092 Total runtime: 49507.944 ms

на Rows Removed by Filter посмотрите и в бабахайте индекс device, date(created_at) where latitude is not null

Дорогой индекс получится

относительно чего ?

На вставку. Разве нет?

нет

Проблема этой таблицы, что в сутки в нее записыватеся примерно 500 000 записей, и она сильно разрастается, хочу перед тем как делать индекс, вынести и удалить старые данные из нее, или есть еще варианты? На партиции нет смысла бить в моем случае.

есть вариант не использовать для таких задач постгрес

Cassandra ?

есть вариант не использовать для таких задач постгрес

Пока не готов отказатся от postgres, есть ряд причин

Это как? Не очень понял

eav

а, там же всего 500к в день

так тут проблема не сорт метода а то что планер ошибся и решил сделать abort early plan

eav

Смысла в таком вообще не вижу, это вообще какой-то антипаттерн :)

чинится через analyze, random_page_cost, хинты и мат проще всего чинится индексом от которого постгрес не может отказаться

чинится через analyze, random_page_cost, хинты и мат проще всего чинится индексом от которого постгрес не может отказаться

Реиндекс сделать?

Смысла в таком вообще не вижу, это вообще какой-то антипаттерн :)

если конечные атрибуты сущности неизвестны, а по ним нужно делать поиск, то иначе в реляционке никак

чинится через analyze, random_page_cost, хинты и мат проще всего чинится индексом от которого постгрес не может отказаться

analyze не помог пробовал

если конечные атрибуты сущности неизвестны, а по ним нужно делать поиск, то иначе в реляционке никак

а как же jsonb

ну это не совсем реляционка

ничего не могу сказать по поводу ограничений и производительности, не пользовался

Ну в только-реляционке то понятно что никак.

но скорее всего с json будет быстрее (только json, на самом деле, эмуляция хранения произвольной структуры для бедных)

ну это не совсем реляционка

оно вполне себе в духе реляционки, это просто тип

» и она сильно разрастается, хочу перед тем как делать индекс, вынести и удалить старые данные из нее, или есть еще варианты? сделайте таблицу с нужным индексом и залейте в нее через insert into ... select from where ограничение отсекающие старые данные, потом переименуйте

хороший совет чтобы потерять инфлайт данные

https://github.com/reorg/pg_repack/pull/42

лучше так

я так понимаю там данные за короткий промежуток не слишком важны

я так понимаю там данные за короткий промежуток не слишком важны

На оборот ))

Select делается за промежуток неделя не больше

лучше так

Спасибо, вроде то что нужно

тогда просто сделайте 2-е таблицы если данные нужно хранить, архив и актуальные, актуальные переодически подчищайте

эмм, а почему дата выбирается по to_char?

эмм, а почему дата выбирается по to_char?

Как лучше и почему?

если слева по функции то планировщик не может коректно оценить объем выборки и вбивает константу

ts between 'start_timestamp' and 'end_timestamp' лучше - на таймзонах не так больно, и сравниваются циферки, а не строки

А как же амазоновский RDS? )

Чоа? Вы видели какой там внутри бардак творится? https://www.linkedin.com/jobs/view/181727547

какая разница какой бардак, пока работает

Ну я так понимаю ЛПР, которое там разместило ответственные данные своим решением - тоже работает до первого факапа.

ERROR: S client not available

Весь enterprise собран из говна и палок - это догма, и все как-то, более-менее живет, только поддержки сложности

Чоа? Вы видели какой там внутри бардак творится? https://www.linkedin.com/jobs/view/181727547

Ну дока же врёт ))

В буклетах тоже много чего про волшебность облаков пишут.

Мы обсуждали не красоту архитектуры, не гениальность инженерной мысли, а вполне конкретный буклет

а что не так с вакансией?

не берут )

в смысле "не берут"?

о, там хорошее есть - Track record for quickly learning new technologies.

в смысле "не берут"?

бывает пособеседовался человек, не подошел и начинает "поливать"

а, это бывает, да

коллеги кому интересно https://telegram.me/clickhouse_ru

бывает пособеседовался человек, не подошел и начинает "поливать"

Какие-то странные у вас фантазии.

Какие-то странные у вас фантазии.

почему же, процентов 10 точно таких, на "рынке" пхпешников еще больше )

Соболезную им.

особенно весело, когда такие отправляют письмо HRу с прямым текстом "Пошли вы на ***", а затем перезванивают, получили ли они письмо)

особенно весело, когда такие отправляют письмо HRу с прямым текстом "Пошли вы на ***", а затем перезванивают, получили ли они письмо)

o_O

О_о

а это чисто российская фишка?

просто я у нас такой штуки не замечал

Вообще собеседования и найм на работу это боль и страдания. Недовольны обычно обе стороны ) Одни уже 50го собеседуют и всё не то, другие недовольны, что собеседуют их не те и не так.

И денег мало плотют

Так это же очень субъективный процесс, когда я это понял то сразу стал спокойнее

пойти что ли пособеседоваться куда

пойти что ли пособеседоваться куда

к нам приходи ;)

к нам приходи ;)

а где вы и что делаете?

рубизяним в основном

по домам сидим овер-зе-ворлд

постгрес - основная дб на всех проектах

делаем, например, Gett и куски ебея

@pipopolam ты в марсианах теперь что ли?

ага