При этом создаются процессы и отдавалось всю оперативную память с сервера

это cached

реально память самих процессов - 693 мб

отличный скриншот )

хотя, не понятно почему в ps так много памяти в RSS жрётся, как-то оно не совпадает с free

надо смотреть конфиги пг

чтоо там с буферами

Сейчас вам скину конфиги

data_directory = '/1c/pg_data/' # use data in another directory # (change requires restart) hba_file = '/etc/postgresql/9.4/main/pg_hba.conf' # host-based authentication file # (change requires restart) ident_file = '/etc/postgresql/9.4/main/pg_ident.conf' # ident configuration file listen_addresses = '*' # what IP address(es) to listen on; port = 5432 # (change requires restart) max_connections = 100 # (change requires restart) unix_socket_directories = '/var/run/postgresql' # comma-separated list of directories ssl = true # (change requires restart) ssl_cert_file = '/etc/ssl/certs/ssl-cert-snakeoil.pem' # (change requires restart) ssl_key_file = '/etc/ssl/private/ssl-cert-snakeoil.key' # (change requires restart) shared_buffers = 4GB # min 128kB huge_pages = try # on, off, or try work_mem = 20MB # min 64kB maintenance_work_mem = 1GB # min 1MB #autovacuum_work_mem = -1 # min 1MB, or -1 to use maintenance_work_mem #max_stack_depth = 2MB # min 100kB dynamic_shared_memory_type = posix # the default is the first option wal_level = hot_standby # minimal, archive, hot_standby, or logical #fsync = on # turns forced synchronization on or off #synchronous_commit = on # synchronization level; # off, local, remote_write, or on #wal_sync_method = fsync # the default is the first option # supported by the operating system: # open_datasync # fdatasync (default on Linux) # fsync # fsync_writethrough # open_sync #full_page_writes = on # recover from partial page writes #wal_log_hints = off # also do full page writes of non-critical updates # (change requires restart) #wal_buffers = -1 # min 32kB, -1 sets based on shared_buffers # (change requires restart) #wal_writer_delay = 200ms # 1-10000 milliseconds #commit_delay = 0 # range 0-100000, in microseconds #commit_siblings = 5 # range 1-1000 # - Checkpoints - checkpoint_segments = 30 # in logfile segments, min 1, 16MB each checkpoint_timeout = 20min # range 30s-1h checkpoint_completion_target = 0.7 # checkpoint target duration, 0.0 - 1.0 #checkpoint_warning = 30s # 0 disables autovacuum = on # Enable autovacuum subprocess? 'on' # requires track_counts to also be on. #log_autovacuum_min_duration = -1 # -1 disables, 0 logs all actions and # their durations, > 0 logs only # actions running at least this number # of milliseconds. autovacuum_max_workers = 5 # max number of autovacuum subprocesses # (change requires restart) #autovacuum_naptime = 1min # time between autovacuum runs #autovacuum_vacuum_threshold = 50 # min number of row updates before # vacuum #autovacuum_analyze_threshold = 50 # min number of row updates before # analyze autovacuum_vacuum_scale_factor = 0.01 # fraction of table size before vacuum autovacuum_analyze_scale_factor = 0.05 # fraction of table size before analyze #autovacuum_freeze_max_age = 200000000 # maximum XID age before forced vacuum # (change requires restart) #autovacuum_multixact_freeze_max_age = 400000000 # maximum multixact age # before forced vacuum # (change requires restart) #autovacuum_vacuum_cost_delay = 20ms # default vacuum cost delay for # autovacuum, in milliseconds; # -1 means use vacuum_cost_delay #autovacuum_vacuum_cost_limit = -1 # default vacuum cost limit for # autovacuum, -1 means use # vacuum_cost_limit online_analyze.threshold = 50 online_analyze.scale_factor = 0.1 online_analyze.enable = off online_analyze.verbose = off online_analyze.min_interval = 10000 online_analyze.table_type = 'temporary' plantuner.fix_empty_table = false

и настройки pgbouncer

[databases] template1 = host=127.0.0.1 dbname=template1 openfire = host=127.0.0.1 dbname=openfire jabber = host=127.0.0.1 dbname=jabber ; foodb over unix socket ;foodb = ; redirect bardb to bazdb on localhost ;bardb = host=localhost dbname=bazdb ; access to dest database will go with single user ;forcedb = host=127.0.0.1 port=300 user=baz password=foo client_encoding=UNICODE datestyle=ISO connect_query='SELECT 1' ; use custom pool sizes ;nondefaultdb = pool_size=50 reserve_pool_size=10 ;; Configuration section [pgbouncer] logfile = /var/log/postgresql/pgbouncer.log pidfile = /var/run/postgresql/pgbouncer.pid listen_addr = * listen_port = 6432 unix_socket_dir = /var/run/postgresql auth_type = md5 auth_file = /etc/pgbouncer/userlist.txt admin_users = postgres pool_mode = transaction server_reset_query = DISCARD ALL ignore_startup_parameters = extra_float_digits max_client_conn = 100 default_pool_size = 20

Для такого есть пастбин

И было бы круто вырезать комменты

http://postgresql.nabble.com/shared-buffers-vs-Linux-file-cache-td5834048.html кажется, это про этот случай как раз

shared_buffers = 4GB в конфиге выше

но в free оно всё ушло в cached

https://www.depesz.com/2012/06/09/how-much-ram-is-postgresql-using/

извините, с английским неочень, немного не понял что они там написали

про Oracle, Ms sql , Sybase , Db2 тут не общаются?

только про скулайт

ну и мускуль можно, если строго про csv-движок

есть необходимость хранить много бинарных данных, от 1кб до 100кб. в пределе за несколько лет будет цифра порядка петабайта. ваши варианты как это хранить. плюс гдето хранить мету с датами поступления и т.п. будет необходима возможность выгребать данные за конкретные диапазоны дат

Только дата и блоб?

может ещё классификаторы какиенить, но пока да только даты и блоб

Ребята , вопрос такой, для базы данных raid 5 и raid 10 сильно изменяется производительность?

в базе хранятся файлы от 100кб до 3мб формата doc, txt, pdf.

только про скулайт

Ну это не дба группа явно тогда

Ребята , вопрос такой, для базы данных raid 5 и raid 10 сильно изменяется производительность?

Общеизвестно райд 10 для субд лучше

мне тут говорили что там не более 15 % разница макс будет

у пятого хуже на вставках, у вас какое ридрайт соотношение?

*на запись

может ещё классификаторы какиенить, но пока да только даты и блоб

Ну на текущий момент, кажется, монга в шарде хорошо подходит и настройки почти не требует. Но могут быть варианты.

Что тебя сподвигло хранить файлы блобами? ?

Ещё можно просто файлами хранить, да)

у пятого хуже на вставках, у вас какое ридрайт соотношение?

у нас база 1с, в ней хранятся документы, она у нас безбожно лагает

у нас база 1с, в ней хранятся документы, она у нас безбожно лагает

Странно, да?

коллеги говорят в таких случаях перевод базы с raid 5 на raid 10 не поможет

сказано сохранить то что приходит как есть, обработку потом будем прикручивать... вот придумываю

коллеги говорят в таких случаях перевод базы с raid 5 на raid 10 не поможет

А диски какие? SSD?

нет hdd 15k

Файлы надо нахрен из базы убирать... все тогда летать будет. В 1с такое вообще возможно?

оказывается да

мы только не в курсе как файлы на шару отдельную теперь перевести

кстати на счёт хранения просто в фс может даже будет иметь смысл

Ну забей тогда на рейд. Надо архитектуру переделывать

и впринципе как файлы от базы отдельно хранить

Хранить файлы в базе это тлен. И жизнь меня в том числе этому научила.

Ещё можно просто файлами хранить, да)

спасибо за мысль, обдумаю

есть какие то инструкции или гайды как файлы от базы отдельно хранить ?

У меня хостинг картинок... если бы тогда не переделал, база бы сейчас весила 10тб. Не представляю как бы это все работало.

есть какие то инструкции или гайды как файлы от базы отдельно хранить ?

Берешь кладешь файл в фс на рейде, или в aws... а ссылку на него в базу пишешь.

Берешь кладешь файл в фс на рейде, или в aws... а ссылку на него в базу пишешь.

ну вот как эту ссылочку в базу положить остается загадкой

Миграцию

Ручками писать

а что в облаках картинки хранишь или со своих серваков раздаешь?

Дешманский хетзнер решает

У меня исходящего трафика под 15тб

реплики файлов есть?

10тб занято под картинки уже.

Я бы разорился на авс

Рейд первый.

всмысле два разных урла на одну картинку с двух хостов отдавать?

Нет, такого нет.

Это же мой петпроджект

это так в порядке бреда

Ну база удобна тем, что репликация из коробки будет. С так надо её как-то руками настраивать или мутить распределенную фс

может туплю уже но что за проект?

может туплю уже но что за проект?

https://itmag.es

мобильной версии видимо не имеется.

ну да ладно.

старые картинки я так понимаю не удаляются, а собирал стату по устаревающим, типа последнее время доступа или может сколько раз за последний месяц обращались к картинке 3летней давности?

Привет всем! Есть тут экономисты?

Привет всем! Есть тут экономисты?

А что за вопрос?

есть необходимость хранить много бинарных данных, от 1кб до 100кб. в пределе за несколько лет будет цифра порядка петабайта. ваши варианты как это хранить. плюс гдето хранить мету с датами поступления и т.п. будет необходима возможность выгребать данные за конкретные диапазоны дат

как уже заметили, не надо блобы хранить в базе, только если это не протобаф ) Если это протобаф - храните его в json в mysql 5.7/postgre :)) Есть много решений по распределенному хранению файлов, а ссылки храните в базе с нужными индексами.

О кстати. Народ. Как вам моя статья на гиктаймсе?

какая статья

какая статья

https://geektimes.ru/post/277466

https://geektimes.ru/post/277466

Правда твоя? Ржал... :)

Правда твоя? Ржал... :)

Угу. Думаю вот продолжение замутить

Кучеры и извозчики наверное так же стонали когда автомобили приходили. :)

Такой знатный говносрач поднялся

Кучеры и извозчики наверное так же стонали когда автомобили приходили. :)

Ты видимо не дочитал.