парсек - безопасность астры.

Astra это грех человечества (подумал я по крайней мере тогда, когда я с ним впервые столкнулся)

Вы случаем не один из разработчиков астры ?

=)

Кстати, @KellyDink, ищите следы в логах этого самого парсека.

Вы случаем не один из разработчиков астры ?

Нет, Бог миловал,

Подскажите, почему alter user .. set log_min_duration_statement может работать в сторону уменьшения, а когда я увеличиваю его таким же образом, найтрока не применяется?

А как же вы так 18 лет с астрой имели дело ? Как вас так закинуло ?

я их столько раз проклинал, этих разработчиков астры...

Подскажите, почему alter user .. set log_min_duration_statement может работать в сторону уменьшения, а когда я увеличиваю его таким же образом, найтрока не применяется?

C третьего раза почему-то сработало, но настройка применилась только на мастере, а на репликах нет.

А как же вы так 18 лет с астрой имели дело ? Как вас так закинуло ?

Я не с астрой 18 имел дело. Когда познакомился с астрой , у меня было за плечами 18 лет. С таким опытом любая система — фигня.

Опыт с чем ?

ОС

Ааа

Понятно

Вам лет 40 где то ?

Да, эллиптикс

не прошёл даже в тестовую эксплуатацию, команда которая занималась тестами забраковала из-за проблем с докуменированием и плохой работой при кросс-датацентрах с пингами 100+мс

?ииии я молодец)

Спасибо Вам большое. Вы натолкнули меня на мысль, где искать проделки моих кривых рук

И где же ?

Раз вы разобрались

Будьте добры сообщить для остальных

Вдруг кто столкнется

@KellyDink

Дададада!

?мне немного стыдно, но у меня не было лупбэка. При добавлении правил на всякие компорты он пострадал и был уничтожен.

Etc/hosts ?

Или pg_hba conf ?

Что правили ?

@KellyDink

?мне немного стыдно, но у меня не было лупбэка. При добавлении правил на всякие компорты он пострадал и был уничтожен.

Это как?

Лупбэк адаптер он же фейковый... как его можно удалить-то?

Это как?

Это мои талантливые, но кривые руки

Лупбэк адаптер он же фейковый... как его можно удалить-то?

О чем речь ?

Что за адаптер такой ?

Ааа

Lo у вас не было

Все понятно

Спасибо за информацию

Будем иметь ввиду

Что так можно сделать)

Все понятно

надо "все с Вами понятно")?

Что так можно сделать)

я талантлива)

в любом случае спасибо огромное. У меня уже мысли закончились от слова совсем. Вы помогли найти решение.

Грохнуть лупбек — это сильное колдунство! Я узнал новое. Ничего себе, однако

Все понятно

Теперь переведи на нормальный для нас...

Грохнуть лупбек — это сильное колдунство! Я узнал новое. Ничего себе, однако

?ну я же сказала, что мне стыдно.

Грохнуть лупбек — это сильное колдунство! Я узнал новое. Ничего себе, однако

Нормально. Я тоже так делал в начале пути по линуксу. И базу дропал при удалении пакета через purge ))

Скажите, пожалуйста. А где то кроме postgresql.conf логирование настраивается? Дело в том, что постгрес складивает логи в файл в домашней директории пользователя ОС postgres - pgstartup.log.

В самом файле настроек (postgresql.conf) нет упоминания про pgstartup.log

Скажите, пожалуйста. А где то кроме postgresql.conf логирование настраивается? Дело в том, что постгрес складивает логи в файл в домашней директории пользователя ОС postgres - pgstartup.log.

в /etc/postgresql/9.4/main/pg_ctl.conf можно указать лог при запуске службы

не прошёл даже в тестовую эксплуатацию, команда которая занималась тестами забраковала из-за проблем с докуменированием и плохой работой при кросс-датацентрах с пингами 100+мс

Ещё любопытнее! :) Был на паре их презентаций, они как раз упирали на то, что мол все заявляют работу между датацентрами, но все это постоянно разваливается, а мы мол как раз на этом специализируемся и у нас точно всё работает.

Ещё любопытнее! :) Был на паре их презентаций, они как раз упирали на то, что мол все заявляют работу между датацентрами, но все это постоянно разваливается, а мы мол как раз на этом специализируемся и у нас точно всё работает.

мы крутили ещё Ceph и от OpenStack запчасть (забыл как называется) - 100мс нестабильного пинга разваливает всё Требования: требования - 100-150мс пинга канал 20mbit-100mbit-1gpbs нестабильный первая запись должна быть быстрой; время синка в пределах 20 секунд входящий поток в пределах 10 мбит исходящий - в пределах 40мбит (с возможностью расширения для некоторых файлов одного потока до максимального) количество хитов в секунду - не больше 15 (кроме случаев ультра-горячих данных) реплика N+2 запросы - GET/PUT/DELETE на уровне файлов, размер файла до 128мб, требуется всегда целиком и линейно; чтение части файла не требуется написали в результате свой велосипед за пару человеконедель, который по-сути делает геораспределенный jbod на 600m файлов и покрывает требования с постгресом для хранения метаданных)) понадобится нормальное промышленное решение - смигрируем из велосипеда обратно, благо реплики и в России и в Европе и в США Все промы хотят качественную и быструю сеть

всем привет! подскажите, плиз, какие есть тулзы для физической очистки места в онлайне при вычищении мертвых таплов из таблиц? типа pg_repack, но без выделения места x2 от размера таблицы

всем привет! подскажите, плиз, какие есть тулзы для физической очистки места в онлайне при вычищении мертвых таплов из таблиц? типа pg_repack, но без выделения места x2 от размера таблицы

vacuum?

он не отдает место в систему

если не full, а если full то он x2 опять же ест места и еще требует даунтайма

всем привет! подскажите, плиз, какие есть тулзы для физической очистки места в онлайне при вычищении мертвых таплов из таблиц? типа pg_repack, но без выделения места x2 от размера таблицы

А в чём проблема с выделением места? И зачем Вам вообще физическая очистка, кстати?

общая задача – распартиционировать таблицу в онлайне. условно, таблица весит сейчас 10 гигов, в системе всего 15 гигов (те еще 5 свободно). хотелось бы ее потихоньку резать и переносить старые месяцы в партиции, а на основную таблицу настраивать правила для перенаправления запросов

но при таком подходе миграцию не получится завершить, тк даже при выполнении delete из основной таблички все равно место в систему не вернется и в какой-то момент оно закончится (примерно на половине партиций)

и вот хотелось бы делать перенос партиции, удаление данных из основной таблицы и сразу ужимание этой таблицы (чтобы она занимала 9 гигов, потом 8, потом 7 и тд)

общая задача – распартиционировать таблицу в онлайне. условно, таблица весит сейчас 10 гигов, в системе всего 15 гигов (те еще 5 свободно). хотелось бы ее потихоньку резать и переносить старые месяцы в партиции, а на основную таблицу настраивать правила для перенаправления запросов

пишите новое в новую таблицу, отпиливайте самое новое от старой и делайте вакуум - он умеет откусывать место в конце

ну да, для откусывания места в конце я как раз нашел уже тулзу (https://github.com/avito-tech/dba-utils/blob/master/tools/optimize_table.pl)

так и планирую пока делать но интересно, есть ли еще альтернатива, тк я перл не очень понимаю)

общая задача – распартиционировать таблицу в онлайне. условно, таблица весит сейчас 10 гигов, в системе всего 15 гигов (те еще 5 свободно). хотелось бы ее потихоньку резать и переносить старые месяцы в партиции, а на основную таблицу настраивать правила для перенаправления запросов

Нда. А может, просто добавить дискового пространства? ;)

ну там просто таблица на самом деле не 10 гигабай, а 11 терабайт ?

добавить места лучше всего, конечно )

в новом постгресе добавляли tid scan с условиями, кажется

https://www.postgresql-archive.org/Tid-scan-improvements-td6033541.html можно просто сказать "перенеси всё с такой-то страницы воот в ту таблицу"

добавить места лучше всего, конечно )

Естественно. :) Вы, кстати, учитываете, сколько у Вас в архив WAL уйдёт за это время?

Да, это тоже учитываю Но на бэкап сервере с местом получше

в новом постгресе добавляли tid scan с условиями, кажется

В 11?

Пока он выйдет ещё в стабильной сборке) и потом ещё тройка минорных апдейтов будет скорее всего до использования в проде) долго)

ну, если вам нужно что-то нетрадиционное, то можно свой собрать на время распила, патч выше

так и планирую пока делать но интересно, есть ли еще альтернатива, тк я перл не очень понимаю)

Так Вы в online всё это хотите делать (в смысле, в таблицу будут при этом пишущие запросы)?

у меня тут возник очень глупый вопрос

ведь в постгресе таблицы лежат сегментами по 1гб

если грохнуть индексы, можно ли просто насоздавать таблиц и поперемещать файлики? :)

Так Вы в online всё это хотите делать (в смысле, в таблицу будут при этом пишущие запросы)?

Да

если грохнуть индексы, можно ли просто насоздавать таблиц и поперемещать файлики? :)

Там вроде всякие последствия будут , например hint bits как-то неправильно заполненные появятся

а насколько много таких последствий?

+ ссылки в самом постгресе разъедутся

relfilenode по идее совпадать не будут

так как файлики новые

при транкейте, например, relfilenode у файлика меняется

просто если можно насоздавать партиций, погасить постгрес и просто скриптом поделать mv файликам, возможно поправляя что-то где-то по известному смещению, то это может быть самый быстрый способ партиционировать 11тб

так в этом случае еще надо будет в эти созданные файлики что-то дозаписывать, получается

тогда оно еще и в обход wal пойдет

сами файлики таскать и сейчас можно) например, когда в новый tablespace переносите индексы или таблицы

я просто не представляю, как мне из кучи файлов основной таблицы перезаписать корректно как-то на уровне файлов данные в новые файлики партиций

это, наверное, будет еще более сложно разработать, чем вот такой метод с update’ами и отсечением хвоста вакуумом, как в скрипте ребят из авито

Здравствуйте. Подскажите пожалуйста, пробую сделать сейчас мастер-слейв репликацию, стягиваю с мастера данные вот так: pg_basebackup -P -R -X stream -c fast -h IP -U username -D ./main база стягивалась но на 95% словил: pg_basebackup: could not receive data from WAL stream: server closed the connection unexpectedly This probably means the server terminated abnormally before or while processing the request. xx/yy kB (95%), 1/1 tablespace pg_basebackup: child process exited with error 1 по логу вижу такое: LOG: terminating walsender process due to replication timeout правильно ли я понимаю что нужно подкрутить какой то параметр timeout? и если да, то подскажите пожалуйста какой параметр подкрутить?

psotgresql - 9.6

psotgresql - 9.6

9.6.что? Вообще, это wal_sender_timeout, но странновато как-то...

master - 9.6.5 slave - 9.6.10

9.6.что? Вообще, это wal_sender_timeout, но странновато как-то...

думаю это могло быть потому что сервера находяться в разных ДЦ