Я продублирую свой вопрос из группы девопсов тут, так как возможно не все из вас девопсы, но возможно вы знаете как побороть вот это: Коллеги. Мне прислали sql файл, дамп mysql базы. Из-за битого файла настроек mysqldump снял базу видимо не в том виде, в котором нужно. Поэтому русские буквы - "????". Исходника больше не существует, а дамп нужно поднять. При поднятии на первый взгляд всё консистентно, но нет ни единой русской буквы. iconv не помогает, мне вообще кажется что дело гиблое, тем не менее, мало ли кто с этим сталкивался, и как вопрос решался?

Может оно обфусцировано так?

Я продублирую свой вопрос из группы девопсов тут, так как возможно не все из вас девопсы, но возможно вы знаете как побороть вот это: Коллеги. Мне прислали sql файл, дамп mysql базы. Из-за битого файла настроек mysqldump снял базу видимо не в том виде, в котором нужно. Поэтому русские буквы - "????". Исходника больше не существует, а дамп нужно поднять. При поднятии на первый взгляд всё консистентно, но нет ни единой русской буквы. iconv не помогает, мне вообще кажется что дело гиблое, тем не менее, мало ли кто с этим сталкивался, и как вопрос решался?

С кодировками пошаманить попробуй

В настройках бд перебери распространённые.

99%, что проблема в этом

спасибо за рекомендации ?

Если в файле дампа вопросы - то как не выкручивайся, получишь только вопросы. Тк в дампе вопросительные знаки :) Мировая наука пока не придумала как из вопросительных знаков восстанавливать русский или любой другой текст.

Но если вопросы в базе, а в дампе не вопросы - совет выше может помочь.

При запуске утилиты pg_test_fsync выдает следующий результат

Ops/sec это операций в секунду, а users/op это что такое?

Сервер ( 8 vcpu , 16 GB RAM)

Почему такие маленькие результаты ( сервер подключен к схд)

Ops/sec это операций в секунду, а users/op это что такое?

Не users, а usecs - микросекуды

Почему такие маленькие результаты ( сервер подключен к схд)

Смотрите параметры wal_sync_method и commit_delay. Как следует из документации, эта утилита помогает выбрать значение wal_sync_method.

По умолчанию, время работы теста 5 секунд, попрбуйте увеличить это значение.

здравствуйте коллеги, вопрос у меня возник. Кто то пробовал выносить журнал pg_clog и pg_xlog на отдельный раздел tmpfs? Сильно ли я рискую если все эти журналы будут храниться в ram?

здравствуйте коллеги, вопрос у меня возник. Кто то пробовал выносить журнал pg_clog и pg_xlog на отдельный раздел tmpfs? Сильно ли я рискую если все эти журналы будут храниться в ram?

http://blog.2ndquadrant.com/postgresql-no-tablespaces-on-ramdisks/

Более того, tablespace выносить в рам это может быть и плохо, но выносить в память clog и xlog это ололо. Нельзя ни в коем случае, без этих данных база станет нечитаема

присутствие букв l o g в названии не значит, что это что-то не важное

в случае с бд уж точно ))

такое даже mysql делать нельзя ))

Спасибо коллеги за наставление

господа, думаю на мускуле переходить с statement на raw

какие там подводные камни?

репликацию я имею ввиду

есть отсутствие камней с фильтрами базы/таблицы, и нужно учесть что на слейвах перестанут работать триггеры

И если у вас не роу, то скорее всего база не консистентна.

с тригерами понятно - их там и нет

И если у вас не роу, то скорее всего база не консистентна.

вот это естьи что жутко бесит

собственно почему и хочется raw

Удивляет что вы не перешли. У вас старый mysql?

где-то есть, но это поправимо

собственно почему и хочется raw

собственно именно по этому не рекомендуется использовать statement :)

вот еще глупый вопрос

--gtid_mode=ON хорошо же? а то везде написано что это

но не очень понятно почему нужно

Это хорошо :)

я опять с глупыми вопросами. Запилил gtid_mode=ON и ROW репликацию

делаю select count(*) по таблице и имею пару записей разницы

на сервере

это норм?

После запила хорошо бы перелить слейв

да, так все и сделал - выровнялось. Наверное надо было делать select с no_cache

народ, у меня тут вопрос. сильно не бить, я в бд не очень. мне нужно выбрать из таблицы n записей, значение числового поля field которых находятся ближе всех к числу N. я конечно понимаю, что можно сделать select * from table where field > N order by field и срезать уже в коде программы нужное кол-во результатов. но во-первых, это ресурсоемко, т.к. вытаскиваются все записи с field > N, а во-вторых, это работает только в одну сторону, а мне надо и > и <. есть встроенные решения?

я думаю что в "обычной" бд ты это быстро не сделаешь

что понимается под "обычной"?

не инмемори

хотя мускул и прочее тоже умеет инмемори

а постгри? и в какую сторону рыть?

мб смотреть в сторону редиса

или чего-то такого

ээ нее, на другую бд пересаживаться не хочуу

http://stackoverflow.com/questions/1644063/mysql-select-the-closest-match ну собсна

чет печальненько.

http://stackoverflow.com/questions/5678010/finding-the-nearest-numeric-match-in-a-database-to-what-a-user-has-inputted-in-p вот еще

я же говорю - это тот инструмент

ну да, я это в вопросе предлагал. там в одну сторону только получится.

придется мастерить гору костылей..

Я бы смотрел в сторону analitic/window functions. Например cume_dist() постгресовый

http://www.postgresql.org/docs/9.4/static/functions-window.html

http://www.postgresql.org/docs/9.4/static/sql-expressions.html#SYNTAX-WINDOW-FUNCTIONS

народ, у меня тут вопрос. сильно не бить, я в бд не очень. мне нужно выбрать из таблицы n записей, значение числового поля field которых находятся ближе всех к числу N. я конечно понимаю, что можно сделать select * from table where field > N order by field и срезать уже в коде программы нужное кол-во результатов. но во-первых, это ресурсоемко, т.к. вытаскиваются все записи с field > N, а во-вторых, это работает только в одну сторону, а мне надо и > и <. есть встроенные решения?

Limit?

Limit?

уже говорил, он решает первую проблему, но не вторую

Я бы смотрел в сторону analitic/window functions. Например cume_dist() постгресовый

спасибо, почитаем

Вообще это называется k nearest neighbours, можно в постгресе, смотрите в стоторону типо данных точка или куб

вау. вот спасибо. если действительно можно, это просто замечательно.

но это очень сильный перебор для скаляра, просто два запроса с лимитом

не, у меня все не так просто на самом деле.

SELECT * FROM places ORDER BY location <-> point '(101,456)' LIMIT 10;

можете в point первую координату константой оставить, а во вторую значение

тогда даст честных 10 ближайших

Еще есть такая штука для многомерных данных: http://www.postgresql.org/docs/devel/static/cube.html

SELECT * FROM places ORDER BY location <-> point '(101,456)' LIMIT 10;

да, у меня как раз локации, но по двум осям. это как-то сложнее

две координаты у точки? расстояние по тереме пифагора?

блин, вот об этом что-то не подумал

a <-> b float8 Euclidean distance between a and b. a <#> b float8 Taxicab (L-1 metric) distance between a and b. a <=> b float8 Chebyshev (L-inf metric) distance between a and b.