alias lR="ls -R | grep ":$" | sed -e 's/:$//' -e 's/[^-][^\/]*\//--/g' -e 's/^/ /' -e 's/-/|/'"

| sed s/\\u0000//g | теоретически эту проблему затыкает

дык, она будет не одна

но вопрос, единственный ли это неработающий кусок json в постгресе

utf расширяется

мне кажется что это не проблема json

а проблема реализации utf

Тип jsonb также не принимает \u0000 (так как это значение не может быть представлено в типе text Postgres Pro), и требует, чтобы суррогатные пары Unicode использовались для представления символов вне основной многоязыковой плоскости (BMP) правильно. Корректные спецпоследовательности Unicode преобразуются для хранения в соответствующий символ ASCII или UTF8 (это подразумевает сворачивание суррогатных пар в один символ). (c) https://postgrespro.ru/docs/postgrespro/9.5/datatype-json

сворачивание суррогатных пар в символ

аргх

you win :)

ну вот

а потом придёт время продакшена, и ловить это будем не в copy, а в запросах от кастомеров

для геокодинга nominatim лучше поднять

googling

thanks

https://geocoder.opencagedata.com/code

я тут пока median(anyelement) сделал parallel safe

оригинал с https://wiki.postgresql.org/wiki/Aggregate_Median - моя версия https://gist.github.com/Komzpa/2d3873f88c439d7cbb4de8efa4e058db

а WITHIN GROUP не параллелится сам по себе?

хороший вопрос

вообще, возможно, надо поправить https://wiki.postgresql.org/wiki/Aggregate_Median

а попробуй, percentile_disc(0.5) within group (order by ... ) вдруг там уже параллельно всё :))

просто в колонке оно некрасиво

:)

план говорит, что параллельно

within group ?

да

круто, круто тогда..

ну, то есть, параллельность оно не отрубает

но сама агрегация уже снаружи от параллельности у меня в плане

как же чудесен местами постгрес... select |/ 25;

интересно, сколько осталось до нормальных эмодзи в операторах

интересно, сколько осталось до нормальных эмодзи в операторах

И в именах таблиц бы ещё.

gis=> create table ? as (select '?'::text as ?); SELECT 1 gis=> select * from ?; ? —- ? (1 row)

всё работает

тут с терминалом больше проблем, чем с базой :)

вот постфиксный оператор "котик" сделать не получается

gis=> create table ? as (select '?'::text as ?); SELECT 1 gis=> select * from ?; ? —- ? (1 row)

Крутота

Все любят котиков :)

Измерительный котик.

мда, таки нашлись ещё ломающие данные ERROR: invalid input syntax for type json DETAIL: Escape sequence "\(" is invalid. CONTEXT: JSON data, line 1: ...2:0a","ss":-68,"freq":2437,"ssid":"\u0005\u0003\(...

кто-нибудь пользовал? толковый модуль? проблем нет? https://github.com/pg-strom/devel

модуль толковый настолько, насколько cuda дает если вы готовы мириться с тем что перед выполнением на ходу компилируется программа и загружаются данные в gpu - то этот модуль для вас :)

со всеми вытекающими - иногда загрузить в gpu через pci-e занимает существенное время

иногда оканчивается память на gpu во время паралельных запросов

гонял на tesla, что давала сама компания nvidia, не нашел убедительных примеров когда эта карточка нужна.

ждем nvlink :)

ну судя по этому слайду http://www.slideshare.net/kaigai/gpgpu-accelerates-postgresql?ref=https://www.opennet.ru/opennews/art.shtml#19 это то, что мне нужно (count и group by)

А 9.6 не хватило?

> It is designed to utilize GPU devices to accelarate sequential scan Эммм... А кто-нибудь сможет мне объяснить, как GPU ускоряет секскан?! o_O

А 9.6 не хватило?

на 9.5 сижу а что добавили в 9.6?

> It is designed to utilize GPU devices to accelarate sequential scan Эммм... А кто-нибудь сможет мне объяснить, как GPU ускоряет секскан?! o_O

900000 сексканов по одному гигабайту интов

на 9.5 сижу а что добавили в 9.6?

Параллельное исполнение запросов

> It is designed to utilize GPU devices to accelarate sequential scan Эммм... А кто-нибудь сможет мне объяснить, как GPU ускоряет секскан?! o_O

также, как seq scan в несколько процессов

ERROR: S client not available

pgstrom кодная чтука, она и join может ускорять и много чего ещё

надеюсь у меня всё же дойдут руки и я смогу это на OpenCL перетащить... правда реализаций OpenCL2.0 нету нормальных. Если для AMD то нужно будет HSA мучить.

На самом деле в последнем разговоре с Kagai я вроде смог его убедить что с OpenCL2.0 не всё так плохо... (в OpenCL 1.2 не хватает многих фич для нормальной работы pgstrom)

модуль толковый настолько, насколько cuda дает если вы готовы мириться с тем что перед выполнением на ходу компилируется программа и загружаются данные в gpu - то этот модуль для вас :)

оно кешировать умеет ;)

оно кешировать умеет ;)

а это тут причем? :) разве дело в скорости, дело в костыльности.

а это тут причем? :) разве дело в скорости, дело в костыльности.

это трудно назвать костыльностью... кроме того вроде сейчас всё можно скомпилировать в IR и потом уже отправлять на GPU. Так как конфигурация GPU разная некий IR всёравно нужен и его надо трасформировать во внутрениий набор комманд. Славу богу всё же это поняли в Khoronos и всё заточили на SPIRV. PS только вчера изучал код Vulkan драйвера для intel, очень интересны различия между OP кодами начиная с 8 поколения. (у меня Haswell это 7.5)

так всё же - у кого-нибудь есть идеи-опыт рендеринга цветных emoji в терминале, чтобы они нормально выделялись и не ломали редактирование строки?

карты из постгиса селектить так будет сильно удобнее :)

я не совсем понял pgstrom без cuda не ставится что ли?

а как же opencl?

$ make gcc -Wall -Wmissing-prototypes -Wpointer-arith -Wdeclaration-after-statement -Wendif-labels -Wmissing-format-attribute -Wformat-security -fno-strict-aliasing -fwrapv -fexcess-precision=standard -g -g -O2 -fstack-protector-strong -Wformat -Werror=format-security -I/usr/include/mit-krb5 -fPIC -pie -fno-omit-frame-pointer -fpic -DPGSTROM_VERSION=\"1.0\" -DPGSTROM_VERSION_NUM=10000 -DPG_MIN_VERSION_NUM=90500 -DPG_MAX_VERSION_NUM=90600 -DCUDA_INCLUDE_PATH=\"/include\" -DCUDA_LIBRARY_PATH=\"/lib64\" -DCMD_GPUINFO_PATH=\"/usr/lib/postgresql/9.6/bin/gpuinfo\" -I /include -I. -I./ -I/usr/include/postgresql/9.6/server -I/usr/include/postgresql/internal -Wdate-time -D_FORTIFY_SOURCE=2 -D_GNU_SOURCE -I/usr/include/libxml2 -I/usr/include/tcl8.6 -c -o src/main.o src/main.c In file included from src/main.c:36:0: src/pg_strom.h:32:18: fatal error: cuda.h: No such file or directory compilation terminated. <builtin>: recipe for target 'src/main.o' failed make: *** [src/main.o] Error 1

https://pgconf.ru/ - сертификат протух :(

Кто чем мониторит постгрес по мимо заббикса ?

так всё же - у кого-нибудь есть идеи-опыт рендеринга цветных emoji в терминале, чтобы они нормально выделялись и не ломали редактирование строки?

А зачем? :)

(помимо okmeter)

Кто чем мониторит постгрес по мимо заббикса ?

https://github.com/wrouesnel/postgres_exporter

А зачем? :)

ёлочки-кирпичики-домики в карте видеть, а не цеплять ради одного запроса qgis

ёлочки-кирпичики-домики в карте видеть, а не цеплять ради одного запроса qgis

Круто. Никогда б не подумал о таком

help

соррьки

https://github.com/wrouesnel/postgres_exporter

Спасибо за наводку

подскажите пожалуйста, как правильно пользователей создавать в postgres, создаю просто через create role with login, а он имет права на создание объектов во всех базах, как ограничить права в рамках одной базы?

я не совсем понял pgstrom без cuda не ставится что ли?

неа, я его переписывал на OpenCL а точнее портировал их ранюю версию на кастомные ноды. Запустил но.. с сегфолтами. Потом мне другие задачи поставили и я на это забил. У нас в РФ увы нету спроса с деньгами. :(

2016-10-10 14:09:03 MSK [18602-1] LOG: PG-Strom version 1.0 built for PostgreSQL 9.5 NVIDIA: no NVIDIA devices found utils/gpuinfo.c:430 failed on cuInit (CUDA_ERROR_UNKNOWN:unknown error) 2016-10-10 14:09:04 MSK [18602-2] FATAL: No supported CUDA devices, PG-Strom was disabledне хочет запускаться postgre без nvidia видимо никуда

неа, я его переписывал на OpenCL а точнее портировал их ранюю версию на кастомные ноды. Запустил но.. с сегфолтами. Потом мне другие задачи поставили и я на это забил. У нас в РФ увы нету спроса с деньгами. :(

но тут ведь написано про opencl https://www.opennet.ru/opennews/art.shtml?num=41333

GPU может отсутствовать на серверах

Да, такое случается.