Здарова. Где можно потренить скл? Ресурсы?

Ну, например, https://leetcode.com

или еще https://www.hackerrank.com/dashboard

https://livesql.oracle.com/apex/livesql/file/index.html

https://livesql.oracle.com/apex/livesql/file/index.html

это вроде как sqlfiddle

Друзья, вопрос по mongodb, честно говоря не знаю куда еще можно задать, так-что не пинайте за флуд?думаю кто-нибудь да разбирается в ней. Собственно вопрос, если я буду искать документы по уникальному индексу который я создам сам (в частности номер телефона), будет ли этот поиск настолько же быстрым, как если б я искал по ObjectId т.е. стандартное _id которое монго присваивает при создании документа?

Будет. Но у монги сложные отношения с индексами, а именно, они должны помещаться в ОЗУ сервера бд

формат времени в БД12 часовое , его можно поменять на 24 часовой?

как?

формат времени в БД12 часовое , его можно поменять на 24 часовой?

Возможно так https://stackoverflow.com/questions/40460083/how-to-convert-12-hours-timestamp-format-to-24-hours-timestamp-format-in-postgre

Спасибо, завтра попробую

Нашел в приложении самый эпичный баг года) догадайтесь, что же здесь пошло не так: =# \d proxies Table "public.proxies" Column | Type | Modifiers —----------+-----------------------------+------------------------------------------------------------ id | bigint | not null default nextval('proxies_id_seq'::regclass) ip | character varying(150) | not null port | integer | not null user | character varying(200) | password | character varying(200) | запрос такой: SELECT ip, port, user, password FROM proxies и он даже успешно выполняется. Но результат неправильный.

Нашел в приложении самый эпичный баг года) догадайтесь, что же здесь пошло не так: =# \d proxies Table "public.proxies" Column | Type | Modifiers —----------+-----------------------------+------------------------------------------------------------ id | bigint | not null default nextval('proxies_id_seq'::regclass) ip | character varying(150) | not null port | integer | not null user | character varying(200) | password | character varying(200) | запрос такой: SELECT ip, port, user, password FROM proxies и он даже успешно выполняется. Но результат неправильный.

мб public.proxies?

мб public.proxies?

нет. тут вполне норм. просто таблица proxies объявлена в схеме public

фишка в кривости самого запроса на выборку

А что в нём не так?

значение, которое вернется в колонке user)

значение, которое вернется в колонке user)

"user" ?

Ну вот если это поле в select указать в двойных кавычках или указать полностью proxies.user, тогда отработает правильно. Но из-за лени так мало кто делает

Мда.

Мне кажется, это не баг, это фича.

Насколько я понимаю, речь про юзера в PG?

Так вот он может быть без кавычек, например ivanov

А если ivanov.ii , то только в кавычках.

Или речь не об этом? :)

Или речь не об этом? :)

SELECT user вернёт тебе имя пользователя сессии. Скажем так - это особенность.

SELECT user вернёт тебе имя пользователя сессии. Скажем так - это особенность.

очень милая "особенность". получается что к каждому твоему запросу пг джоинит еще некую системную вьюшку?

очень милая "особенность". получается что к каждому твоему запросу пг джоинит еще некую системную вьюшку?

Нет, просто ещё на этапе разбора запроса в него подставляется вызов системной функции currenr_user.

а, значит это всё таки функция! но какой смысл в этом?

выгладит так будто кто-то из разработчиков пг отлаживался, а потом этот вызов забыли убрать ?

Нет, это задокументированная функция https://www.postgresql.org/docs/current/static/functions-info.html#FUNCTIONS-INFO-SESSION-TABLE

всем добрый день. Возник вопрос о вертикальной масштабируемости посгре, есть ли у нее предел?

всем добрый день. Возник вопрос о вертикальной масштабируемости посгре, есть ли у нее предел?

https://pgconf.ru/2016/89637

всем добрый день. Возник вопрос о вертикальной масштабируемости посгре, есть ли у нее предел?

Предел есть. На ядрах одного сокета масштабируется довольно хорошо. big numa машина может показать производительность хуже, чем один сокет той же машины. Но все это, если нет большого write contention. С write contention пока все плохо.

Подскажите, я пишу приложение с использованием google maps. Т.к. локаций становится очень много я хочу перенести кластеризацию маркеров на бекенд. Может быть кто-нибудь ссылку на какой-нибудь снипеет или туториал даст, как лучше это сделать с использованием Postgis?

Подскажите, я пишу приложение с использованием google maps. Т.к. локаций становится очень много я хочу перенести кластеризацию маркеров на бекенд. Может быть кто-нибудь ссылку на какой-нибудь снипеет или туториал даст, как лучше это сделать с использованием Postgis?

а почему на google maps?

а почему на google maps?

Не знаю, особо не выбирал.

а вообще кластиризовать точки есть десятки способов, нужно понимать природу и задачи до того, как кластеризовать

в самом постгисе нативно и то штуки четыре разных кластеризатора

Около 100к точек, сейчас кластеризируется с помощь js библиотеки, кластеризируются норм, загружаются долго

kmeans, dbscan, within, intersecting

kmeans есть в постгис? Я просто начал один пакет разбирать, там kmeans отдельным расширением ставится

https://postgis.net/docs/ST_ClusterKMeans.html

но если тебе нужно по зумам группировать, тебе нужно что-то другое, даже просто по регулярной сетке

Я щас вот это модуль ковыряю https://github.com/biodiv/anycluster там вот такой вот запрос вроде как основной https://dumpz.org/2711518/ Он работает так как мне надо, собственно вот пример https://www.anymals.org/nx/bigmap/ Я хочу разобраться как он это делает и сделать по аналогии без установки дополнительного расширения kmeans. Как я понял этот модуль устаревший.

Около 100к точек, сейчас кластеризируется с помощь js библиотеки, кластеризируются норм, загружаются долго

я бы наверно договаривался с ТЗ что б можно было через пагинацию делать

никому и никогда 100К не может понадобиться разом

никому и никогда 100К не может понадобиться разом

Почему? Посмотри пример https://www.anymals.org/nx/bigmap/

нарисуй их не точками, а полигонами

Зачем?

Есть какая-то проблема?

да, у тебя сейчас точки друг на друга налезают и неясно, на какую территорию они растащены

а вообще выкинь всё и возьми https://github.com/Leaflet/Leaflet.markercluster

или https://blog.mapbox.com/clustering-millions-of-points-on-a-map-with-supercluster-272046ec5c97

а вообще выкинь всё и возьми https://github.com/Leaflet/Leaflet.markercluster

вопрос загрузки 100К это не решит

но вообще конечно трассировка нужна вот этого вот всего. и сравнение

У меня сейчас https://www.npmjs.com/package/points-cluster работает хорошо

Но загружается долго

работает плохо, там TTFB одна секунда

и content download 1.14ms

Ок, но 100к точек загружать всё равно долго. Поэтому я хочу сделать server-side кластеризацию...

Я что-то упускаю?

да, kmeans - не для визуализации, для визуализации карты по зумам сейчас самое лучшее что есть - supercluster

если ты прочтёшь статью, там есть ссылка, как его запустить на сервере

ну и api точно надо переделать на такое, которое можно закешировать - тайлы нарезать в статику, например

Че такое тайлы?

s3 webdav

S3 - boto

иногда это даже почти динамика, а не статика

а, значит от своего оверлейного слоя так и не отказались?.. ну такое себе. но вам виднее ))

А как от него откажешься? Когда в ТЗ стоит уметь отображать до 20 тысяч одновременно движущихся ТС. ?

ну и api точно надо переделать на такое, которое можно закешировать - тайлы нарезать в статику, например

?

и никакой кластеризации

Добрый день помогите разобраться, CREATE OR REPLACE FUNCTION mcore.py_exec( _ssql text, _jdat jsonb) RETURNS text AS $BODY$ import json dic=json.loads(_jdat) plan = plpy.prepare(_ssql, []) res = plpy.execute(plan, []) return '{}' $BODY$ LANGUAGE plpython3u VOLATILE COST 100; ALTER FUNCTION mcore.py_exec( text, jsonb) OWNER TO postgres; упростил до минимума нужен вызов такой select py_exec('select py_exec(''select 1'',''{}''::jsonb);','{}'::jsonb); на версии PostgreSQL 9.5.10 on x86_64-pc-linux-gnu, compiled by gcc (Debian 4.7.2-5) 4.7.2, 64-bit работает стабильно через раз с такой ошибкой а на версии PostgreSQL 9.6.3 on x86_64-pc-linux-gnu, compiled by gcc (Debian 4.9.2-10) 4.9.2, 64-bit все просто отлично

R: KeyError: '_jdat' SQL-состояние: 38000 Контекст: Traceback (most recent call last): PL/Python function "py_exec", line 4, in <module> dic=json.loads(_jdat) PL/Python function "py_exec", line 308, in loads PL/Python function "py_exec", line 352, in decode PL/Python function "py_exec"

и там и там CREATE PROCEDURAL LANGUAGE 'plpython3u' HANDLER plpython3_call_handler INLINE plpython3_inline_handler VALIDATOR plpython3_validator; ALTER LANGUAGE plpython3u OWNER TO postgres;

А почему именно третий питон? На втором все ок?

сейчас попробую

ERROR: KeyError: '_jdat' CONTEXT: Traceback (most recent call last): PL/Python function "py_exec", line 3, in <module> import json PL/Python function "py_exec" ****** Ошибка ****** ERROR: KeyError: '_jdat' SQL-состояние: 38000 Контекст: Traceback (most recent call last): PL/Python function "py_exec", line 3, in <module> import json PL/Python function "py_exec"

та же ошибка

нельзя так в 9.5?

loads должен строку принимать, попробуйте text

Еще модно вывести через notice значение locals().

так на 9.5 она работает ровно через один раз один раз норм другой ошибка

CREATE OR REPLACE FUNCTION mcore.py_exec( _ssql text, _jdat text) RETURNS text AS $BODY$ import json dic=json.loads(_jdat) plan = plpy.prepare(_ssql, []) res = plpy.execute(plan, []) return '{}' $BODY$ LANGUAGE plpythonu VOLATILE COST 100; ALTER FUNCTION mcore.py_exec( text, text) OWNER TO postgres;

Ну вот и увидите, отличаются loclals() для этих двух вызовов или нет.

поменял та же ошибка ERROR: KeyError: '_jdat' CONTEXT: Traceback (most recent call last): PL/Python function "py_exec", line 3, in <module> import json PL/Python function "py_exec" ****** Ошибка ****** ERROR: KeyError: '_jdat' SQL-состояние: 38000 Контекст: Traceback (most recent call last): PL/Python function "py_exec", line 3, in <module> import json PL/Python function "py_exec"

очень странно выглядит keyerror вообще на обращение к переменной

вызывал так select py_exec('select py_exec(''select 1'',''{}'');','{}');

как добавить locals() ?

plpy.notice(locals())

plpython передаёт в функцию параметры через глобальные переменные

это надо иметь в виду

ну на 9.6 то все ок

»Allow PL/Python functions to call themselves recursively via SPI, and fix the behavior when multiple set-returning PL/Python functions are called within one query (Alexey Grishchenko, Tom Lane)

в 9.6 это только разрешили, вызывать рекурсивно самого себя в plpython