но многое, очень многое писать руками

zero

комьюнити кукбуки - говно

да не суть

из всех костылей - докер самый быстрый и удобный

сильно в админство уклонились возвращаемсу https://habrahabr.ru/company/postgrespro/blog/312006/

ну под постгресс не только писать ) есть люди которые его используют, что тут поделаешь )

многие вопросы его эксплуатации у меня так вопросы вызывают

почему на лету нельзя менять max_connection, один из таких

почему на лету нельзя менять max_connection, один из таких

ну Паш, чтобы можно было на калькуляторе запуститься :)

да к черту калькуляторы ) это реально боль из продакшена )

ну меня тут разработчики убеждают что max_connections не влияет на планер, так что можно задрать

зато гнет под ddos

сильно в админство уклонились возвращаемсу https://habrahabr.ru/company/postgrespro/blog/312006/

ну вот опять установка через make install для самых маленьких :(

ну вот опять установка через make install для самых маленьких :(

sudo make install

да к черту калькуляторы ) это реально боль из продакшена )

ограничивается в приложении работающем с БД не вариант?

;)

;)

боль :(

@rostel да, всё это понятно, но как например, вот приперло увелечить кол-во коннектов или наоборот уменьшить сделать это без редеплоев, рестартов, унылого переключения по репликам?

ну, например, был косяк, одна из задач запустилась и заняла сколько-то ресурсов, прерывать задачу нежелательно, но нужно выделить больше коннектов, то что?

да, ошибка в проектировке, но эксплуатации от этого не холодно, не жарко

боль :(

make install - а если он про docker-образ писал? :)

make install - а если он про docker-образ писал? :)

тогда он забыл исходники удалить

скажите, а как в jsonb быть с \u0000?

у нас обнаружился такой юзер-инпут

прямо скажем - на дороге валялся! :)

скажите, а как в jsonb быть с \u0000?

смотря что с этим jsonb надо дальше делать, так то всегда можно просто json

его втянуть и потом стрелочками -> и -» разбирать

имхо никак.

зачем такие юзер инпуты ? О_О

зачем такие юзер инпуты ? О_О

что значит "зачем"? он уже пришёл, теперь его надо обработать :)

видимо речь про фильтрацию на уровне аппы

regexp_replace(stringWithNull, '\\u0000', '', 'g') не ?

теперь у вас две проблемы )

у меня лежит csv на fs

я его через copy from stdin распаковываю и читаю

приложение уже отработало, всё :)

я конечно всё понимаю

но copy from stdin

а что с ним-то не так?

кхм, но мягко говоря, а как делать проверки входных данных?

они уже сделаны, всё лежит в экранированных файлах

но постгрес \u0000 не жуёт

который с точки зрения json валиден

ну с точки зрения json валидно всё что пропихнулось по их синтаксису

что в целом-то не сложно делать

напихать туда html-штук вроде бы как не фиг делать, будет дефейс

хотя возможно я тут не целиком прав

они уже сделаны, всё лежит в экранированных файлах

теоритически туда же могут попасть куски суррогатных пар, которые постгрес тоже не съест..

народ, кто с OSM работал, как данныые http://beryllium.gis-lab.info/project/osmshp/ затащить в postgis

есть скрипт-тулза

http://wiki.openstreetmap.org/wiki/Osm2pgsql

сейчас попробуем

спасибо

2-ая строчка в гугле

нзчт

@Komzpa стало интересно, не поделитесь, почему такой странный импорт данных?

http://wiki.openstreetmap.org/wiki/Osm2pgsql

что-то по хелпу не пойму как импортировать файлы *-point.cpg *-point.dbf *-point.prj *-point.qix *-point.shp *-point.shx

shp2pgsql ?

я честно говоря погуглил, и не очень понял, но кажется для каждого формата прийдется делать это раздельно, https://en.wikipedia.org/wiki/Shapefile

а возможно и нет

не работал с геоданными в таком виде

но вообще, судя по описанию тулзы

вам вряд ли даже нужно будет их импортить

я про mapnik

ERROR: S client not available

спасибо, а можешь подскажешь, мне нужны геоданные домов крупных городов РФ, может есть другие БД

про ьаплинк почитаю

спасибо Павел

вообще, если данные про города

база налоговой кажется открытой

с апи и тд

или почты РФ была

но насчет геометок - я сильно сомневаюсь

у меня есть ФИАС, там все адреса

мне нужны дополнительно координаты домой, чтоб расчитывать дасстояние доставки

гм, геокодер яндекса?

что-то по хелпу не пойму как импортировать файлы *-point.cpg *-point.dbf *-point.prj *-point.qix *-point.shp *-point.shx

а где вы шейпы-то взяли?

25к запросов халява

с ФИАС работать нормально, там используется только два файла

и вообще, https://telegram.me/ruosm

я в курсе, у меня 100 планируется - а это лям

@Komzpa стало интересно, не поделитесь, почему такой странный импорт данных?

а чем он странный? обычный импорт csv

спасибо за посдсказку

ну, у нас на проектах импорт таких штук делается силами приложений

оттуда вытаскивается всё "лишнее"

мне понять что есть и выбрать технологию

PS, с яшей можно договориться, если вы делаете социально-полезное, значимое и тд

ну, у нас на проектах импорт таких штук делается силами приложений

приложение пишет в kinesis firehose, firehose пишет кучку .json.gz в aws s3, мы их aws s3 sync и обрабатываем

спасибо за посдсказку

для геокодинга nominatim лучше поднять

гм, а я то думал у меня проблемы :)

та часть приложения, которая будет обрабатывать эти данные в продакшене, ещё не написана

чтобы её написать, надо посмотреть на данные-то :)

ну я бы голосовал за "пост-обработку", copy дает прирост производительности, но кажется такие ошибки станут неизбежны

сначала получить - парсер/воркер потом постгресс

"пост-обработку"?

а, sed? :)

это если вам очень нечего делать )