@pgsql

Страница 267 из 1062
 
Артур
10.03.2017
13:40:09
Что ты имеешь ввиду под целевым?
Я заплатил челу, чтобы он заморочился и нашел способ подсчитать

 
Dmitrii
10.03.2017
13:40:22
разверните числовой id в битовом представлении
Что помешает людям обратно его "свернуть"?)

 
Fike
10.03.2017
13:40:56
@etkee как эта хер по безопасности называется? Ты только сегодня писал это англицкое название
security through obscurity

 
Dmitrii
10.03.2017
13:41:07
Я заплатил челу, чтобы он заморочился и нашел способ подсчитать
Какие техники он использовал? Ну и вот как минимум тот факт что ты платил за это говорит о наличии такой проблемы, и то что это все же бизнес информация и бывает важна :)

Google
 
Darafei
10.03.2017
13:41:28
вообще, вопрос был про uuid

 
Fike
10.03.2017
13:41:42
ну то есть вы предполагаете, что у ваших конкурентов есть задача посчитать ваших пользователей, и тут хренак! не автоинкремент, а uuid. и они такие: о, нет! мы никак не сможем их победить!

 
Какие техники он использовал? Ну и вот как минимум тот факт что ты платил за это говорит о наличии такой проблемы, и то что это все же бизнес информация и бывает важна :)
^^^

 
Dmitrii
10.03.2017
13:41:48
вообще, вопрос был про uuid
А, понял.

 
Darafei
10.03.2017
13:42:32
у uuid есть прекрасное другое свойство - они в двух копиях системы будут скорее всего разными на разных сущностях

 
Артур
10.03.2017
13:43:10
Разговор начался о uuid и то, что цель его одна - скрыть информацию о количестве клиентов или посетителей

 
Dmitrii
10.03.2017
13:43:26
По спецификации там есть еще много разных интересных битов типа шарда и прочего

 
Артур
10.03.2017
13:43:33
на что @etkee сказал - что для этих целей его использовать не правильно

 
Dmitrii
10.03.2017
13:43:38
В целом хочу собрать информацию об историях успеха

 
Darafei
10.03.2017
13:44:47
у нас вот есть место, в которое сливается инфа из нескольких систем, и то, что id - uuid, позволяет просто сложить две таблицы вместе, не поломав pkey

 
Dmitrii
10.03.2017
13:49:54
А бит шарда кто-нибудь использует по назначению?

 
Alex
10.03.2017
13:50:25
я использовал в одном проекте, вполне норм

 
но вообще это сильно зависит от датафлоу имхо.

Google
 
Fike
10.03.2017
13:52:45
бит шарда = node field?

 
Dmitrii
10.03.2017
13:53:18
Да

 
Anton [Mgn, az09@osm]
10.03.2017
18:39:45
Ну очевидно на втором файлы лежат видимо в другом месте
так вот. просто судо не канает. перед установкой пришлось сделать sudo -sH тогда встало как надо и сетуп оказался на месте. спасибо за участие )

 
Айтуар
11.03.2017
06:38:09
Всем привет. По вопросу - что быстрее для копирования кластера на новый сервер rsync или basebackup. Мой результат такой - даже если rsync быстрее, basebackup лучше, т.к. после него кластер на новой машине после копирования похудел в 1.5 раза как после full vacuum!

 
Dmitry
11.03.2017
06:42:41
Всем привет. По вопросу - что быстрее для копирования кластера на новый сервер rsync или basebackup. Мой результат такой - даже если rsync быстрее, basebackup лучше, т.к. после него кластер на новой машине после копирования похудел в 1.5 раза как после full vacuum!
1. вы logs посчитайте. 2. basebackup не умнее rsync, это просто его кросплатформенная реализация по простоколу pq

 
и да, она медленее и менее фичастеее чем банальный rsync.

 
Айтуар
11.03.2017
06:46:32
1. вы logs посчитайте. 2. basebackup не умнее rsync, это просто его кросплатформенная реализация по простоколу pq
1. посчитать logs? для чего? 2. Ну тогда понятно, раз протокол pg, копирует только нужное, а мёртвые строки не копирует. Я так понимаю.

 
Dmitry
11.03.2017
06:47:05
вы с rsync логи копировали или темп таблицы

 
Айтуар
11.03.2017
06:47:08
и да, она медленее и менее фичастеее чем банальный rsync.
мне фичи не столь важны как дисковое пространство )

 
вы с rsync логи копировали или темп таблицы
я использовал pg_basebackup иcпользуя stream репликацию, и никаким rsync не пользовался.

 
Аггей
11.03.2017
07:01:26
и да, она медленее и менее фичастеее чем банальный rsync.
Это практические наблюдения? Я просто не вижу в механизме работы rsync никаких преимуществ перед pg_basebackup

 
При пустом копировании - а мы рассматриваем именно такое - кмк будет иметь значение размер chunk и буферизация, а так же размер файлов и их количество.

 
Dmitry
11.03.2017
07:42:06
Это практические наблюдения? Я просто не вижу в механизме работы rsync никаких преимуществ перед pg_basebackup
Да на медленных каналах (100mb) с сжатием и на быстрых с хорошим железом в параллель

 
Волчик
11.03.2017
10:13:09
а в чем фишка этой базы, почему иногда лучше использовать sqlite, вместо mysql, pgsql?
На основе sqlite ты можешь сделать свой формат файла, который пользователь может сохранять и открывать в каком-то десктопном приложении. Если нужно в одном файле хранить много разнородной информации, это может быть альтернативой сериализации в XML или другой формат.

 
Petr
11.03.2017
10:14:16
хмл не нужон

 
проще сразу в json зафигачить

 
Darafei
11.03.2017
10:20:37
в виндах парсер xml живёт в ядре операционки

 
так что .xml.zip там можно часто встретить как основной формат

 
Petr
11.03.2017
10:21:37
в виндах парсер xml живёт в ядре операционки
кроссплатформенность пиздец

 
Darafei
11.03.2017
10:22:23
для кроссплатформенности .xml.zip тоже получше скулайта :)

Google
 
Darafei
11.03.2017
10:23:02
в браузере его разбирать не катастрофически страшно

 
Petr
11.03.2017
10:27:01
гм, я за жсон говорил

 
Darafei
11.03.2017
10:28:12
в json больно картинки складывать. в .zip в самый раз

 
в зипе можно положить файл без сжатия, тогда прямо внутри zip по нему можно делать seek

 
Petr
11.03.2017
10:29:45
в json больно картинки складывать. в .zip в самый раз
эт да

 
Darafei
11.03.2017
10:32:01
но если нужно что-то, что не хочется поднимать целиком в память, то да, sqlite рулит

 
Anton [Mgn, az09@osm]
11.03.2017
17:13:56
есть два сервера один на облаке scaleway, а другой - в другом месте оба на CentOS (7.3.1611), делаю так $ sudo rpm -ivh https://download.postgresql.org/pub/repos/yum/9.6/redhat/rhel-7-x86_64/pgdg-centos96-9.6-3.noarch.rpm $ sudo yum install postgresql96 postgresql96-server postgresql96-libs postgresql96-contrib $ sudo yum -y install epel-release $ sudo yum install postgis2_96 postgis2_96-client $ sudo /usr/pgsql-9.6/bin/postgresql96-setup initdb
началось всё бодро, а застопорилось уже сегодня к обеду. пытался с помощью osm2pgsql загрузить в базу всего лишь Европу. двигаюсь по мануалам, но они о многом молчат. может подскажет кто как лучше настроить конфиг пг?

 
дев-сервер выглядит так: хдд - 2Тб, озу - 16 гиг, ксеон 4 ядра, ось центось 7

 
сейчас конфиг в пг дефолтный. подскажите плиз в какую сторону копать

 
процесс умер похоже из-за переполнения свопа.

 
Maxim
11.03.2017
17:18:58
можно начать отсюда, например: pgtune.leopard.in.ua

 
но это не панацея

 
Maxim
11.03.2017
17:19:25
так, прикинуть нос к хвосту

 
Anton [Mgn, az09@osm]
11.03.2017
17:22:53
[osm@streetmap ~]$ /usr/local/bin/osm2pgsql --slim -d gis -C 14000 --hstore -S openstreetmap-carto-master/openstreetmap-carto.style europe-latest.osm.pbf учитывать -C 14000 при заполнении рамы в калькуляторе?

 
Darafei
11.03.2017
17:23:57
-С 99999 уже можно, если версия новая

 
засвопится, ну и фиг с ним

 
а, ты забыл --flat-nodes

 
Anton [Mgn, az09@osm]
11.03.2017
17:24:33
вот и засвопилсо (

 
Darafei
11.03.2017
17:25:04
он так ноды в базу складывает

 
а оно боль

Google
 
Anton [Mgn, az09@osm]
11.03.2017
17:26:47
а, ты забыл --flat-nodes
<flat nodes> is a location where a 36GiB+ file can be saved. это типа для булк копи?

 
Darafei
11.03.2017
17:27:01
нет

 
это чтобы на каждый вей не ходить селектом в базу для чтения координат, а взять их по смещению в файле

 
Anton [Mgn, az09@osm]
11.03.2017
17:27:28
он так ноды в базу складывает
ноды кстати легли норм. на веях срезался

Admin
ERROR: S client not available

 
Anton [Mgn, az09@osm]
11.03.2017
17:28:02
Processing: Node(1856310k 179.0k/s) Way(6773k 0.13k/s) Relation(0 0.00/s)Убито

 
последнее что было в консоли

 
это чтобы на каждый вей не ходить селектом в базу для чтения координат, а взять их по смещению в файле
отлично, применю. а по поводу конфига пг не подскажешь?

 
http://pgtune.leopard.in.ua/ при 16Гб выдал max_connections = 200 shared_buffers = 4GB effective_cache_size = 12GB work_mem = 20971kB maintenance_work_mem = 1GB min_wal_size = 1GB max_wal_size = 2GB checkpoint_completion_target = 0.7 wal_buffers = 16MB default_statistics_target = 100

 
у Котяры видимо табу на такие дела ?

 
Darafei
11.03.2017
17:48:20
https://www.geofabrik.de/media/2012-09-08-osm2pgsql-performance.pdf

 
Anton [Mgn, az09@osm]
11.03.2017
17:48:49
ого, спасибо)

 
https://www.geofabrik.de/media/2012-09-08-osm2pgsql-performance.pdf
на 15 слайде утверждается что work_mem = 1М это норма, а пгтюн в 20 раз больше предлагает

 
Darafei
11.03.2017
18:44:43
В урле 2012 год

 
Anton [Mgn, az09@osm]
11.03.2017
18:45:07
да понятно что свои эксперименты бы поставить...

 
Darafei
11.03.2017
18:45:20
Пользуйтесь головой :3

 
Anton [Mgn, az09@osm]
11.03.2017
18:45:22
но ссд нету например

 
Zhenia
11.03.2017
21:29:30
чат, вопрос. pg_dump: Dumping the contents of table "" failed: PQgetResult() failed. pg_dump: Error message from server: ERROR: invalid page in block 2384 of relation base/16645/18823 из-за чего на слейве возникнуть мог?

 
Sadless74
12.03.2017
03:33:06
https://habrahabr.ru/post/323618/

 
Egor
12.03.2017
08:26:32
Всем здравствуйте!

Google
 
Egor
12.03.2017
08:55:47
ребят, такой вопрос можно по тексту скрипта объявлять анонимные блоки через DO $do$ DECLARE —some vars here BEGIN —some SQL here END $do$;

 
а как можно объявить именованую функцию (без создания ее через CREATE) чтобы позже использовать внутри DO ? есть примеры?

 
?

 
Darafei
12.03.2017
08:57:49
да, я тоже мечтаю о лямбдах

 
создай, используй и грохни

 
ну, или заинлайни

 
blkmrkt
12.03.2017
13:10:39
на дебиан 8.7 никак последнюю постгрю не поставить из дефолтных репозиториев?

 
Anton [Mgn, az09@osm]
12.03.2017
13:11:46
из дефолтных последнюю вообще нигде не поставить

 
blkmrkt
12.03.2017
13:12:11
а правда

 
вот я поставил 9.6, и оно создало дефолтный кластер. Как в нем чексуммы теперь включить?

 
Arthur
12.03.2017
13:37:59
нужно пересоздать кластер с опцией —data-checksums http://dba.stackexchange.com/questions/139166/invoke-data-checksums-using-pg-createcluster-on-ubuntu-14-04/139217#139217

 
blkmrkt
12.03.2017
13:47:10
спасибо, сначала не допер как старый кластер удалить удалил и пересоздал командой pg_createcluster 9.6 main

 
data_checksums ---------------- on

 
Darafei
12.03.2017
14:40:06
а кого-нибудь спасали чексуммы? от чего?

 
blkmrkt
12.03.2017
14:46:55
а кого-нибудь спасали чексуммы? от чего?
если данные побились каким-то образом, то спасет тем, что сразу сообщит. Плюс автозануление будет занулять такие пейджи автоматом - таким образом без проблем можно будет дампнуть то что уцелело

 
Darafei
12.03.2017
14:49:16
тем временем в 9.6 сломали механизм изобретённый механизм репликации осма https://github.com/openstreetmap/operations/issues/154

Страница 267 из 1062