@pgsql
AbiGeuS24.10.2016
13:16:43
13:16:43
ну и можно админа гипервизора попинать. Под пытками обычно лучше признаются.....
Пинал. Говорит все ок.Да и у нас нагрузка не большая
Sergey24.10.2016
13:18:55
13:18:55
Ну тогда ставьте эксперимент с нормальной нагрузкой и докажите ему обратное.
только имейте в виду, что под нагрузкой (если есть проблемы) можно положить и боевые тоже...
GoogleAbiGeuS24.10.2016
13:20:09
13:20:09
Админ у нас по виндам. Потому у него все одно - ставь винду, sql server и не парься.
Ну и говорит что linux ваш виноват :)
Стандарт
Sergey24.10.2016
13:20:47
13:20:47
могу поспорить, что при таких траблах с виндой вообще синий экран будет частенько :)
AbiGeuS24.10.2016
13:21:22
13:21:22
могу поспорить, что при таких траблах с виндой вообще синий экран будет частенько :)
Ну так в том и дело что у них проблем нет :)Sergey24.10.2016
13:21:34
13:21:34
нагрузить пробовали?
AbiGeuS24.10.2016
13:21:38
13:21:38
И пинают в итоге меня начальство.
Sergey24.10.2016
13:21:53
13:21:53
если что, сам ESXi это линукс :)
AbiGeuS24.10.2016
13:22:46
13:22:46
Sergey24.10.2016
13:24:37
13:24:37
поставьте постгрес в винду, с дефолтовыми настройками. Дайте маленько памяти этой виртуалке, чтобы буферы почаще вымывались и нагенерите гору данных в него. Если есть проблемы они вылезут точно так же.
AbiGeuS24.10.2016
13:25:54
13:25:54
Да, подумывал об этом. Боюсь что за этим будет аргумент - postgres не ок, ставь sql server :)
Sergey24.10.2016
13:26:32
13:26:32
да и он тоже сломатеся....
GoogleSergey24.10.2016
13:28:23
13:28:23
просто все это займет кучу времени которое лучше бы использовать в мирных целях, а не заниматься всякой фигней.
если есть проблемы с физикой (железом или сетью) и которые регулярно воспроизводятся, все это можно быстро воспроизвести на любой системе.
а.... бывает еще с памятью...
но этот совсем легко, можно memtest запустить....
AbiGeuS24.10.2016
13:33:23
13:33:23
Но проблемы бы явно не только у меня вылезли. Память не фиксированная там, динамически распределяется.
Но хотя баз данных то там особо больше и не крутится
Darafei24.10.2016
20:04:24
20:04:24
\crosstabview ❤️
Slava25.10.2016
09:43:58
09:43:58
Народ, а чем кто миграционные изменения доставляет на прод?
на тестовом че-нибудь поделали, поальтерили там все подряд и хочется это руками не повторять
Darafei25.10.2016
09:44:28
09:44:28
штатным мигратором платформы бекенда
Slava25.10.2016
09:44:30
09:44:30
а нажать на кнопку и чтобы применилось
Darafei25.10.2016
09:45:39
09:45:39
в golang - https://bitbucket.org/liamstask/goose/
в python/sqlalchemy - https://pypi.python.org/pypi/alembic
Slava25.10.2016
09:45:56
09:45:56
спасибо)
кстати, кто-то из чата советовал pg_extractor - отличная вещь для дампа объектов схем
единственное он не умеет по схемам раскладывать, я запилил на коленке, если кому-то понадобится - могу форкнуть и на гитхаб выложить
Darafei25.10.2016
09:51:11
09:51:11
не спрашивай, форкай, выкладывай и делай пулл-реквест - это как зубы по утрам чистить
Slava25.10.2016
10:26:08
10:26:08
ок
Fike25.10.2016
10:34:51
10:34:51
Google
Roman25.10.2016
10:36:19
10:36:19
flyway для Java
Pavel26.10.2016
10:57:39
10:57:39
Как адекватно положить в FTS контент в html?
`postgres=# SELECT to_tsvector('<html><head>\n\n\n\n</head>\n<body style=\"padding-bottom:40px\">\n <div style=\"font-size: 10pt; \"><p dir=\"ltr\" style=\"margin-top:0;margin-bottom:0;\">patest</p><p dir=\"ltr\" style=\"margin-top:0;margin-bottom:0;\"><br></p><div id=\"SignatureBox\" dir=\"ltr\" style=\"margin-top:0;margin-bottom:0;\">Отправлено с телефона LG</div></div>\n\n\n</body></html>');
to_tsvector
—---------------------------------------------------------------------------------------------------------------------------------------------
—---------------------------------------------------------------------------------------------------------------------------------------------
—-------------------------------------------------------------------------------------------------------------------------
'0':26,30,39,43,53,57 '10pt':18 '40px':11 'bodi':6 'bottom':10,29,42,56 'dir':20,33,47 'div':13,44 'font':16 'font-siz':15 'id':45 'lg':61 'lt
r':21,34,48 'margin':24,28,37,41,51,55 'margin-bottom':27,40,54 'margin-top':23,36,50 'n':1,2,3,4,5,12,62,63,64 'p':19,32 'pad':9 'padding-bott
om':8 'patest':31 'signaturebox':46 'size':17 'style':7,14,22,35,49 'top':25,38,52 'отправл':58 'телефон':60
(1 row)`
По факту полезной информации три слова, а мусора куча
Fike26.10.2016
11:04:03
11:04:03
просто выцепить text nodes любым парсером перед тем, как класть в бд?
Arthur26.10.2016
11:04:35
11:04:35
Можно написать свой только если в виде подключаемого модуля https://postgrespro.ru/docs/postgrespro/9.6/sql-createtsparser
Pavel26.10.2016
11:06:41
11:06:41
просто выцепить text nodes любым парсером перед тем, как класть в бд?
Можно. Но интересует стандартная модель. Простые теги парсер умеет выкидывать, сложные - нетFike26.10.2016
11:07:04
11:07:04
что подразумевается под стандартной моделью и сложными тегами?
пг - это все-таки база данных, конечно, у нее на входе может быть прикручено много чего, решающее дополнительные задачи, но в конечном итоге у нее все равно задача "получить чистые данные, которые потом выводить по выборке"
Pavel26.10.2016
11:17:51
11:17:51
что подразумевается под стандартной моделью и сложными тегами?
Плохо выразился. Встроенный анализатор pg_catalog.defaultНО вроде есть идея. Просто скипать tag фрагменты, которые находит стандартный анализатор
Alexander "PekopT"26.10.2016
13:43:41
13:43:41
ребята, всем добрый день
Alexander "PekopT"26.10.2016
13:43:46
13:43:46
убейте меня паяльником
ERROR: duplicate key value violates unique constraint
на пустой таблице при простом INSERT
эт чо?
AlexAlexander "PekopT"26.10.2016
13:51:07
13:51:07
хммм
Сергей26.10.2016
13:51:39
13:51:39
ERROR: duplicate key value violates unique constraint
на пустой таблице при простом INSERT
покажи "простой" selectGoogleAdminERROR: S client not available
Alexander "PekopT"26.10.2016
13:53:14
13:53:14
INSERT INTO table
(id, id_1c,
name, description, address_city,
address_street_address, date_from, agent,
deleted, field0, "field",
"field2", "field3", "field4")
VALUES
('00-000031', '00-000032',
'smth', '', '',
'', NULL, '00-00000020',
'f', 'smth2', '',
'', '', '')
;
Error : ERROR: duplicate key value violates unique constraint "table_id_1c_key"
таблица при этом пустая
Pavel26.10.2016
13:55:22
13:55:22
\d+ table ^_^
Alexander "PekopT"26.10.2016
13:58:47
13:58:47
эмм?
Айтуар26.10.2016
14:00:30
14:00:30
Error : ERROR: duplicate key value violates unique constraint "table_id_1c_key"
nextval тебе в помощьили тупо пересоздать таблицу
Oleg26.10.2016
14:06:49
14:06:49
Как адекватно положить в FTS контент в html?
`postgres=# SELECT to_tsvector('<html><head>\n\n\n\n</head>\n<body style=\"padding-bottom:40px\">\n <div style=\"font-size: 10pt; \"><p dir=\"ltr\" style=\"margin-top:0;margin-bottom:0;\">patest</p><p dir=\"ltr\" style=\"margin-top:0;margin-bottom:0;\"><br></p><div id=\"SignatureBox\" dir=\"ltr\" style=\"margin-top:0;margin-bottom:0;\">Отправлено с телефона LG</div></div>\n\n\n</body></html>');
to_tsvector
—---------------------------------------------------------------------------------------------------------------------------------------------
—---------------------------------------------------------------------------------------------------------------------------------------------
—-------------------------------------------------------------------------------------------------------------------------
'0':26,30,39,43,53,57 '10pt':18 '40px':11 'bodi':6 'bottom':10,29,42,56 'dir':20,33,47 'div':13,44 'font':16 'font-siz':15 'id':45 'lg':61 'lt
r':21,34,48 'margin':24,28,37,41,51,55 'margin-bottom':27,40,54 'margin-top':23,36,50 'n':1,2,3,4,5,12,62,63,64 'p':19,32 'pad':9 'padding-bott
om':8 'patest':31 'signaturebox':46 'size':17 'style':7,14,22,35,49 'top':25,38,52 'отправл':58 'телефон':60
(1 row)`
Давно хотели написать html-parser для FTS, да руки не дошли. А так, надо написать свою функцию на plpython или plperl и просто to_tsvector(html2text(........))Darafei26.10.2016
14:19:14
14:19:14
там даже особо напрягаться не надо: https://pypi.python.org/pypi/html2text/2016.9.19
Привет! :)
интересно, какую часть этой доки - http://seriot.ch/parsing_json.html - прожёвывает jsonb?
Антон27.10.2016
10:54:41
10:54:41
всем привет, а что за проблема с визибилити мэпс при апгрейде? краем уха слышал что-то тут
Roman27.10.2016
12:46:15
12:46:15
Привет! А можно ли запросом "срэндомить" число из несуществующих в колонке?
Евгений27.10.2016
12:48:27
12:48:27
Можно все :)
Вопрос - какими ресурсами и ценой :)
Можно например нарендомить чисел и выбрать из них те, что отсутствуют в колонке.
ИЛи наоборот - взять небольшой диапазон, вычесть имеющееся и выбрать какую-то из них
Google
Ilya27.10.2016
12:49:58
12:49:58
Второе продуктивнее
Roman27.10.2016
12:52:04
12:52:04
а как вычесть, не понял, 0..99999 при этом в таблице уже есть какие-то случайные числа
Darafei27.10.2016
12:52:10
12:52:10
сильно зависит от набора данных и степени их разреженности
Евгений27.10.2016
12:52:14
12:52:14
Многое зависит от диапазона и плотности заполнения
Darafei27.10.2016
12:52:43
12:52:43
а как вычесть, не понял, 0..99999 при этом в таблице уже есть какие-то случайные числа
а насколько рандомный рандом нужен?Roman27.10.2016
12:53:14
12:53:14
главное чтобы не повторялся с существющими
Anastasia27.10.2016
12:56:25
12:56:25
может тогда max(numbers)+1?
не очень рандомно, правда)
зато не повторяется 100%
Roman27.10.2016
12:57:37
12:57:37
ну а уже может там быть 99999
Павел П.27.10.2016
13:03:17
13:03:17
главное чтобы не повторялся с существющими
юник констрейнт повесить для защиты на время инсерта/апдейта
Открыть в Telegram