друзья, к PostgreSQL можно прицепить python, да так чтобы в инлайне использовать питонячьи функции в процедурах postgres'a ? p.s. задача поссчитать косинусное расстояние между векторами, но средствами sql это получится медленно, покуда в моём случае это 128 селф джоинов (т.к. вектор из 128-и измерений)

друзья, к PostgreSQL можно прицепить python, да так чтобы в инлайне использовать питонячьи функции в процедурах postgres'a ? p.s. задача поссчитать косинусное расстояние между векторами, но средствами sql это получится медленно, покуда в моём случае это 128 селф джоинов (т.к. вектор из 128-и измерений)

Не вижу препятствий кроме известных ограничений питона.

друзья, к PostgreSQL можно прицепить python, да так чтобы в инлайне использовать питонячьи функции в процедурах postgres'a ? p.s. задача поссчитать косинусное расстояние между векторами, но средствами sql это получится медленно, покуда в моём случае это 128 селф джоинов (т.к. вектор из 128-и измерений)

А почему 128 джойнов это медленно?

А почему 128 джойнов это медленно?

как обычно пытаюсь наложить механику одной базы на другую… в MSSQL N джоинов генерирует factorial(n) планов запросов и выбирает "наилучший" ахаха, нет. В общем выбирает он посредственный план

Ну тогда питон.

Впрочем я мало знаю за векторы из 128 измерений, возможно в постгресе есть подходящие геометрические функции.

видео наверно

Ну тогда питон.

понимаю что ты уже ответил, но всё -таки)) вот прям в постгресной функции инлайном пишу питон ?

Если питон будет тормозить, то придётся писать расширение к постгресу на Си.

видео наверно

в точку!

понимаю что ты уже ответил, но всё -таки)) вот прям в постгресной функции инлайном пишу питон ?

Да, можно запилить функцию на питоне, насчёт инлайновости не скажу.

тред не читал звучит как plpython

тред не читал звучит как plpython

Да, но тут вопрос, запустится ли при этом 128 потоков питона? Не будет ли это слишком жостка?

Да, можно запилить функцию на питоне, насчёт инлайновости не скажу.

наверняка знаешь, но хочется пояснить, вижу инлайн так: select python_fn(v1.vector * v2.vector) from vector v1 join vector v2 on v1.col = v2.col

https://www.postgresql.org/developer/roadmap/

это же про минорные версии, а 11 мажорная

Да, но тут вопрос, запустится ли при этом 128 потоков питона? Не будет ли это слишком жостка?

Будет один питон, в который экзекьютор будет нырять и выныривать

Инлайна с питоном нет, он же интерпретируемый

как обычно пытаюсь наложить механику одной базы на другую… в MSSQL N джоинов генерирует factorial(n) планов запросов и выбирает "наилучший" ахаха, нет. В общем выбирает он посредственный план

Здесь примерно так же (а то и похуже). Это фундаментальная проблема, вообще-то. Но, может быть, можно как-то обойтись без self-JOIN-ов вообще?

Здесь примерно так же (а то и похуже). Это фундаментальная проблема, вообще-то. Но, может быть, можно как-то обойтись без self-JOIN-ов вообще?

можно! вот и спрашиваю про питон ))) ну, а если не взлетит то посмотрим в сторону .с

можно! вот и спрашиваю про питон ))) ну, а если не взлетит то посмотрим в сторону .с

Я имел в виду, что, может быть, это можно выразить на SQL?

Здесь примерно так же (а то и похуже). Это фундаментальная проблема, вообще-то. Но, может быть, можно как-то обойтись без self-JOIN-ов вообще?

а какой формат таблицы и что конкретно нужно сделать?

можно! вот и спрашиваю про питон ))) ну, а если не взлетит то посмотрим в сторону .с

Ну так pl/python, казалось бы...

а какой формат таблицы и что конкретно нужно сделать?

колонки float(32)[] между которыми нужно посчитать косинусное расстояние

Я имел в виду, что, может быть, это можно выразить на SQL?

можно, но это 128 джоинофф

можно, но это 128 джоинофф

Почему? Вы ещё, кстати, ничего не показали...

Почему? Вы ещё, кстати, ничего не показали...

а что нужно показать?

а что нужно показать?

Да хоть что-то! Таблицу(ы) / тестовые данные / примерный запрос (или нужный результат на этих данных).

Да хоть что-то! Таблицу(ы) / тестовые данные / примерный запрос (или нужный результат на этих данных).

v1(hash float(32)[]) v2 —//— cosine(v1.hash, v2.hash)

v1(hash float(32)[]) v2 —//— cosine(v1.hash, v2.hash)

По-Вашему, это таблицы? ;) (Вот нет бы sqlfiddle показать, вместо того, чтобы "руками махать".)

можно! вот и спрашиваю про питон ))) ну, а если не взлетит то посмотрим в сторону .с

Если не хочется писать на C, посмотрите в сторону PL/V8.

По-Вашему, это таблицы? ;) (Вот нет бы sqlfiddle показать, вместо того, чтобы "руками махать".)

думается ни к чему лишние колонки

Если не хочется писать на C, посмотрите в сторону PL/V8.

очень интересно, спасибо! а питон так же работает? ну т.е. указывается $$LANGUAGE и фсё?

Если не хочется писать на C, посмотрите в сторону PL/V8.

Говорят что оно в данном случае не сильно лучше питона.

v8 это разве не js?

тогда уж лучше питухон

js

Если питон будет тормозить, то придётся писать расширение к постгресу на Си.

почему-бы не пописать на JS (v8) думаю быстрее пайтона будет но я читал статью одну, там Lua рвал всех по скорости

почему-бы не пописать на JS (v8) думаю быстрее пайтона будет но я читал статью одну, там Lua рвал всех по скорости

Питон хотябы прост как три копейки. Если уж морочиться с чем-то сложным то надо Си или всё же птыатться как-то обыграть на sql

вот статейка http://okbob.blogspot.com/2014/05/a-speed-of-pl-languages-for-atypical.html

а вобще обязвтельно это делать в базе? Условие вьыорки зависит от этого расстояния ? почему-бы не сделать на уровне аппликешена

А ещё в пользу питона надо сказать что там можно подвязывать всякие Сишные библиотеки и если вынести в эти библиотеки всё тяжелое то это работает очень быстро. Правда хз как это сделать при встраивании в постгрес.

Собрать все в массивы и в питоне скормить в numpy?

Собрать все в массивы и в питоне скормить в numpy?

Да, вполне. Правда я не знаю что там за задача и можно ли это эффективно использовать в конкретно этой задаче...

Я бы всё же попробовал на sql

Пацаны, а есть какой-нибудь аналог пгхеро?

Говорят что оно в данном случае не сильно лучше питона.

Кто говорит? Бенчмарки в студию.

А ещё в пользу питона надо сказать что там можно подвязывать всякие Сишные библиотеки и если вынести в эти библиотеки всё тяжелое то это работает очень быстро. Правда хз как это сделать при встраивании в постгрес.

В V8 тоже можно делать биндинги.

А можно делать биндинги сразу в постгрес

А можно делать биндинги сразу в постгрес

Всмысле на C писать?

В V8 тоже можно делать биндинги.

Дык можно, но зачем?

Это оправдано только если заранее знать JS

А вот так чтобы ради постгресовской задачи я бы не стал учить JS, лучше питон. Из двух зол - меньшее.

Дык можно, но зачем?

Это Вы зачем-то упомянули про биндинги в Питоне. Я так и понял зачем ?

Из двух зол V8 быстрее.

Из двух зол V8 быстрее.

Смотря в чём. :)

Смотря в чём. :)

Ну я не знаю в чём медленнее. Может Вы в курсе?

V8 все равно лишний слой

Там вначале инлайнинг хотели

V8 все равно лишний слой

Ну так и Питон тоже лишний слой ? Если человек умеет в C, то ему всё лишний слой.

Ну я не знаю в чём медленнее. Может Вы в курсе?

Например в разработке если надо что-то изучать с нуля. Питон можно гораздо быстрее освоить, практически мимоходом.

Инлайниться умеет sql и с pg11 - си

Инлайниться умеет sql и с pg11 - си

Это отлично, но для тех, кто на "ты" с C. V8 просто показывает очень впечатляющие результаты в плане производительности. И если нет знаний C, но есть знания JS (что очень верятно, учитывая его мнополию в вебчике), то V8 - отличный вариант.

Блин, что-то найти не могу, подскажите пожалуйста, в Patroni как реализовывается connection pooling? Мастер падает и потом на этом же ip работает другой сервер.

Например в разработке если надо что-то изучать с нуля. Питон можно гораздо быстрее освоить, практически мимоходом.

Ну я не знаю что и сказать. Уж что-что, а порог вхождения в JavaScript крайне низок.

Ну я не знаю что и сказать. Уж что-что, а порог вхождения в JavaScript крайне низок.

Питон всё равно гораздо проще и лаконичнее.

Питон всё равно гораздо проще и лаконичнее.

И гораздо медленее в рантайме. Даже Emacs Lisp быстрее ? Но это холивар уже, продолжать не хочу.

И гораздо медленее в рантайме. Даже Emacs Lisp быстрее ? Но это холивар уже, продолжать не хочу.

Опять жеж, смотря в чём.

кто считает что у жс низкий порог входа войдите в промисы, отладку и настройку вебпака со всеми транспиляциями :)

В каких-то паралельных вычислениях быстрее всего Go или Erlang. В однопоточном питон вполне резвый, а если там самое тяжелое вынесено в Сишную библиотеку то это ваще киллер-фича: оно получается предельно просто в разработке и скорость Сишная.

кто считает что у жс низкий порог входа войдите в промисы, отладку и настройку вебпака со всеми транспиляциями :)

Ну как бы да, JS это тот ещё мазохизм в отладке.

кто считает что у жс низкий порог входа войдите в промисы, отладку и настройку вебпака со всеми транспиляциями :)

А Вы точно сейчас про *порог вхождения* говорите?

А Вы точно сейчас про *порог вхождения* говорите?

А зачем входить туда, где если проще то только сначала? :)

кто считает что у жс низкий порог входа войдите в промисы, отладку и настройку вебпака со всеми транспиляциями :)

все там просто и понятно

А зачем входить туда, где если проще то только сначала? :)

Чтобы сделать юзабельный UI в браузере. На Питоне то его не сделать ?

Кстати, кто-нибудь хочет сделать PL/Go для Postgres? ?

Чтобы сделать юзабельный UI в браузере. На Питоне то его не сделать ?

Это не значит что JS - лучшее, оно безальтернативное в данных задачах.

Чтобы сделать юзабельный UI в браузере. На Питоне то его не сделать ?

чтобы сделать юзабельный уи нужно все что я перечислил плюс еще вагон технологий от фронтенд фреймворков типа стейт менеджмента

чтобы сделать юзабельный уи нужно все что я перечислил плюс еще вагон технологий от фронтенд фреймворков типа стейт менеджмента

Да нет, нужно HTML, CSS и немного JS. KISS, понимаешь.

Хотя вот лично мне сайты на JS кажутся какашкой, искренее не понимаю зачем все так ударились их делать.

Да нет, нужно HTML, CSS и немного JS. KISS, понимаешь.

в 2010 году возможно. тогда еще нужен шаблонизатор и вообще какаянибудь джанга

в 2010 году возможно. тогда еще нужен шаблонизатор и вообще какаянибудь джанга

Джанга, питон

Хотя вот лично мне сайты на JS кажутся какашкой, искренее не понимаю зачем все так ударились их делать.

они быстрее проще интеравтинее

в 2010 году возможно. тогда еще нужен шаблонизатор и вообще какаянибудь джанга

Да нет, в 2018 хватит HTML,CSS и немного JS.

они быстрее проще интеравтинее

Возможно я слишком старый, но мне не заходит. Мне до сих пор кажется идеальным минималистичный дизайн без всяких свистелок.

Джанга, питон

В джанге разве нет вкраплений JS?

Да нет, в 2018 хватит HTML,CSS и немного JS.

пойду скажу ребятам из фронтэнд чата :) как раз влезу в обсуждение react suspense с context api

Возможно я слишком старый, но мне не заходит. Мне до сих пор кажется идеальным минималистичный дизайн без всяких свистелок.

так а причем тут дизайн? спа можно и очень минималистичным сделать

пойду скажу ребятам из фронтэнд чата :) как раз влезу в обсуждение react suspense с context api

Нет, ну кто хочет инвестировать время в очередной ура-фреймворк, который помрёт через год-два - пожалуйста ? Я не против ?

Нет, ну кто хочет инвестировать время в очередной ура-фреймворк, который помрёт через год-два - пожалуйста ? Я не против ?

это чтото уровня субд не нужны есть же файлы

Не, СУБД как раз нужны.

так а причем тут дизайн? спа можно и очень минималистичным сделать

Ну я не веб разработчик, мне видится что если нужны простые страницы - то нафиг не нужен никакой JS... или я ошибаюсь?

А вот 100500-фреймворков запудрили мозги основательно, и, похоже, бесповоротно.

Ну я не веб разработчик, мне видится что если нужны простые страницы - то нафиг не нужен никакой JS... или я ошибаюсь?

ну ради лайка придется перерисовывать целую страницу, например

Ну я не веб разработчик, мне видится что если нужны простые страницы - то нафиг не нужен никакой JS... или я ошибаюсь?

Не ошибаетесь. Но без JS никуда, хотя бы для валидации.

А вот 100500-фреймворков запудрили мозги основательно, и, похоже, бесповоротно.

100500 субд. можно же на файлах все хранить