А в чем заключается работа (поиск среди этих данных, расчет статистик и т.п.), какой они формы (ид + пара колонок с цифрами или сотни текстовых колонок), сколько места занимают эти 100М?

Поиск данных, 10 колонок с цифрами

Коллеги, есть один сервер (виртуалка) с mysql 5.6. Общий объем оперативки 4Gb. innodb_buffer_size=2G. Замечаю, что процесс mysql примерно 89Mb держит в свопе. Нормальная ли это ситуация или нужно что-то менять?

Это зависит от настройки ядра vm.swappiness. Возможно стоит уменьшить до минимума (типа 1), если на серваке кроме mysql больше ничего нет.

Это зависит от настройки ядра vm.swappiness. Возможно стоит уменьшить до минимума (типа 1), если на серваке кроме mysql больше ничего нет.

имеет ли смысл вообще отказаться от своп? На продакшн серверах с галерка-кластер у меня сервера с 192гб ram и inno_db_pool_size=160гб прекрасно обходятся без свопа. По идее ведь скуль не может слопать больше выделенных ему 2гб?

не может слопать больше выделенных ему 2гб? Если только не потечёт или будет какой-то другой форсмажор. Реальный объем памяти, который сожрёт mysql зависит же от многих параметров, не только от размера buffer pool

Коллеги, есть один сервер (виртуалка) с mysql 5.6. Общий объем оперативки 4Gb. innodb_buffer_size=2G. Замечаю, что процесс mysql примерно 89Mb держит в свопе. Нормальная ли это ситуация или нужно что-то менять?

отключить своп, у вас туда что-то из выделенных сегментов map_anonymous ушло

а 2 гига - это только innodb pool, дополнительно будет кушать память под table cache, query cache, key cache, connections etc.

Понял, спасибо!

вы тут за вопрос про rpoxysql не побьёте?

тушу реплику, в proxysql ее статус переходит в SHUNNED, но запросы которые попадают в query_rule прицеленные на группу с этим хосто (он там единственный) так и продалжают туда ломиться и не переходят в другую группу. Я понимаю что не так как то приготовил его, но в упор не вижу в чем проблема

а разве proxysql умеет с учётом реплики проксировать?

с учётом её статуса, если быть точным

ну а к чему тогда этот статус? мониторинг и т.д?

Современный учебник JavaScript 2017г.

@AlexCAD ?

чую, что там не учебник

чую, что там не учебник

да не, 3 файла в формате epub

удачи

ну, как минимум, книжки внутри точно есть

народ, привет,кто решал подобную проблему DatabaseMail перестал отправлять письма... просто в один прекрасный момент, ни test email ни ежедневные и такая проблема на 6 серверах - stg environment tst - работает prd - работает Логах пусто: DatabaseMail process is started DatabaseMail process is shutting down

общий привет! есть база ms sql 2012. база work в состоянии restoring. джобом делаю рестор логов в базу. в истории джоба пишет что рестор прошел успешно и лог втянулся. пытаюсь посмотреть историю рестора за последний час: select * from msdb..restorehistory where destination_database_name='WORK' and restore_type='L' and restore_date > DATEADD (minute , -60, getdate() ) и вижу что данных нет. последние данные в msdb..restorehistory за 01-02-2018. Как это пофиксить подскажите?

Парни а если select for update выполняется в рамках транхакции и не находит записи, он всю таблицу блокирует?

Парни а если select for update выполняется в рамках транхакции и не находит записи, он всю таблицу блокирует?

в оракле ничего не залочит

Парни а если select for update выполняется в рамках транхакции и не находит записи, он всю таблицу блокирует?

уточню вопрос - MySql

Нет вся таблица не блокируется

но у меня получается что блокирует

begin 1 begin 2 select for update 1 select for update 2 (не блокируется предыдущим ) insert 1 - встает в очередь за "select for update 2" insert 2 deadlock из-за "select for update 1"

оба селекта запрашивают по одному и тому же условию и оба не удачные

оба селекта запрашивают по одному и тому же условию и оба не удачные

Не удачные запросы... ты там в лотерею играешь? Не знаешь что в базе лежит? Пусть мне повезет?

Не удачные запросы... ты там в лотерею играешь? Не знаешь что в базе лежит? Пусть мне повезет?

Что значит повезет? Делаем запрос есть ли пользователь в определенной таблице, если нет, то вставляем его. Но собтия добавления пользователя в эту таблицу разгребаются многопоточным демоном, из за чего и возникает вот этахерь с взаимоблокировками

Что значит повезет? Делаем запрос есть ли пользователь в определенной таблице, если нет, то вставляем его. Но собтия добавления пользователя в эту таблицу разгребаются многопоточным демоном, из за чего и возникает вот этахерь с взаимоблокировками

О как. Мало того что одинаковые пользователи дублируютсч в разных таблицах так еще и их наличие проверяется через select for update. Месье знает толк в извращениях

ты что то любишь фантазирвоать я смотрю

О как. Мало того что одинаковые пользователи дублируютсч в разных таблицах так еще и их наличие проверяется через select for update. Месье знает толк в извращениях

Я так понял, у него select for update на одну таблицу в разных(?) транзакциях

Я так понял, у него select for update на одну таблицу в разных(?) транзакциях

я так понял что у него там какой то бред и он сам мало понимает как и зачем оно у него работает

я так понял что у него там какой то бред и он сам мало понимает как и зачем оно у него работает

Еженедельная рубрика "Пятничный оракул" :)

Еженедельная рубрика "Пятничный оракул" :)

ну так нужно же где то тренировать ясновиденье

оба селекта запрашивают по одному и тому же условию и оба не удачные

Вот меня тут смущает, ты одну и ту же строку пытаешься в двух транзакциях одновременно проапдейтить?

не проапдейтить он хочет

он хочет внутри мускуля систему очередей сделать

так как топикстартер никакой конкретики не дал кроме подобия запросов - рискну предположить, что там хватит обычного upsert

так как топикстартер никакой конкретики не дал кроме подобия запросов - рискну предположить, что там хватит обычного upsert

ты забыл про волшебного демона который в 100500 потоков делает апдейт в одной таблице

Парни а если select for update выполняется в рамках транхакции и не находит записи, он всю таблицу блокирует?

Вообще-то он блокирует только записи, которые нужно будет изменить . И.е. если ничего не нашел, то ничего и не заблокировал.

Вообще-то он блокирует только записи, которые нужно будет изменить . И.е. если ничего не нашел, то ничего и не заблокировал.

блокирует он записи, которые имеются, а не которые нужно изменить

не вноси смуту

Парни а если select for update выполняется в рамках транхакции и не находит записи, он всю таблицу блокирует?

Но в процессе поиска запрос может дополнительно временно что-то блокировать, на разных СУБД может быть по разному

блокирует он записи, которые имеются, а не которые нужно изменить

Так именно эти записи запрос и должен вернуть

Но в процессе поиска запрос может дополнительно временно что-то блокировать, на разных СУБД может быть по разному

если записи не существует а он пытается ее проапдейтить

а вот тут уже будет интересно

если записи не существует а он пытается ее проапдейтить

... то НЕ ПРОАПДЕЙТИТ!

:)

... то НЕ ПРОАПДЕЙТИТ!

гениально, КЭП!

там есть ещё прикольнее костыли... get_lock называются

Служу!

Служу!

вольно, разойдись

begin 1 begin 2 select for update 1 select for update 2 (не блокируется предыдущим ) insert 1 - встает в очередь за "select for update 2" insert 2 deadlock из-за "select for update 1"

Какой движок у таблицы ?

он хочет внутри мускуля систему очередей сделать

Ты похоже мастер ясновидения!

там есть ещё прикольнее костыли... get_lock называются

прикольные костыли, это когда создается 100500 одинаковых строк в разных потоках а потом база все лишнии удаляет

begin 1 begin 2 select for update 1 select for update 2 (не блокируется предыдущим ) insert 1 - встает в очередь за "select for update 2" insert 2 deadlock из-за "select for update 1"

INSERT может блокироваться UPDATE-ом только по ключам. В таблице есть PK/UN ?

INSERT может блокироваться UPDATE-ом только по ключам. В таблице есть PK/UN ?

да ты просто не умеешь говнокодить.

скорее всего там не на уники смотреть надо, а на foreign keys, на вставке будет проверка оного, и не получется shared lock кинуть на строку, которая обновлена в другой транзакции

скорее всего там не на уники смотреть надо, а на foreign keys, на вставке будет проверка оного, и не получется shared lock кинуть на строку, которая обновлена в другой транзакции

не так. я тут вот на кофейной гуще увидел, как раз завтрактаь закончил и кофе допил. вся проблема в том что товарищ не продумал логику своего приложения, завел там каких то демонов которые валят все подряд. при этом не имеется никакой логики обработки запросов от клиентов

логично что в несколько потоков они лочат все подряд

демоны эти...

клятые

угу тут экзорцист нужен

Я так понял, у него select for update на одну таблицу в разных(?) транзакциях

да

С одним и тем же условием? Т.е выгребается одно и то же?

Вот меня тут смущает, ты одну и ту же строку пытаешься в двух транзакциях одновременно проапдейтить?

не проапдейтить, а посмотреть есть ли пользователь в таблице и ели нет добавить его

Вообще-то он блокирует только записи, которые нужно будет изменить . И.е. если ничего не нашел, то ничего и не заблокировал.

ты попробуй на практике) два терминала открой и запусти в той последовательности как я указал

С одним и тем же условием? Т.е выгребается одно и то же?

да нихрена не выгребается, empty set возвращается

он хочет внутри мускуля систему очередей сделать

нет

ты попробуй на практике) два терминала открой и запусти в той последовательности как я указал

ты попробуй на практике сделать логику перед тем как мучить базу. что бы по одному и тому же запросы не было 100500 тридов

да нихрена не выгребается, empty set возвращается

а с хренали ли оно выгребется если комита не было?

не так. я тут вот на кофейной гуще увидел, как раз завтрактаь закончил и кофе допил. вся проблема в том что товарищ не продумал логику своего приложения, завел там каких то демонов которые валят все подряд. при этом не имеется никакой логики обработки запросов от клиентов

ты походу водки ебнул вместо завтрака...или я объяснил непонятно. щас распишу подробно

Привет. Вопрос. Есть сервер средненький (без VDS), есть десяток таблиц по 3 тыс строк. И библиотека ML для php, которая работает с ними. На каком этапе нужно будет это все переносить на сервак с большей мощностью и подключать норм ML обработку, если часть ф-ций считается на лету.

А эта конструкция в мускуле разве не читает самые свежие данные? И пока транзакция не зафиксирована мы будем ее ждать?

ml это типа machine learning ?

А эта конструкция в мускуле разве не читает самые свежие данные? И пока транзакция не зафиксирована мы будем ее ждать?

вот у меня тоже есть такое подозрение что пкоа коммит не прошел то таблица на локе стоит целиком

ml это типа machine learning ?

типа да. есть такое https://php-ml.readthedocs.io/en/latest/math/statistic/ если кому интересно

А эта конструкция в мускуле разве не читает самые свежие данные? И пока транзакция не зафиксирована мы будем ее ждать?

данные постоянно добавляются и при открытии страницы на клиенте происходит расчет и отображается актуальные данные

что в принципе не удивительно. он пытается вытащить с таблицы то чего там нет и видимо перебирает все строки вешая на них лок по порядку :)

SELECT ... FOR UPDATE For index records the search encounters, locks the rows and any associated index entries, the same as if you issued an UPDATE statement for those rows. Other transactions are blocked from updating those rows, from doing SELECT ... LOCK IN SHARE MODE, or from reading the data in certain transaction isolation levels.

что в принципе не удивительно. он пытается вытащить с таблицы то чего там нет и видимо перебирает все строки вешая на них лок по порядку :)

Окей, ошибку понял. Спс. Смотрю.

Мы ситуацию Артура обсуждаем, я не уверен, что это относилось к тебе ) Но если помогло, то отлично.

SELECT ... FOR UPDATE For index records the search encounters, locks the rows and any associated index entries, the same as if you issued an UPDATE statement for those rows. Other transactions are blocked from updating those rows, from doing SELECT ... LOCK IN SHARE MODE, or from reading the data in certain transaction isolation levels.

тут ничего не сказано на тему что если нечего апдейтить

не заблокирует он пустоту, не ссыте

ты попробуй на практике) два терминала открой и запусти в той последовательности как я указал

Я что ради этой херни буду этот долбаный MySQL ставить? НЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕ

ты походу водки ебнул вместо завтрака...или я объяснил непонятно. щас распишу подробно

Артур Евгенич, какие движки у таблицы -то ?

Привет. Вопрос. Есть сервер средненький (без VDS), есть десяток таблиц по 3 тыс строк. И библиотека ML для php, которая работает с ними. На каком этапе нужно будет это все переносить на сервак с большей мощностью и подключать норм ML обработку, если часть ф-ций считается на лету.

На этапе когда записей будет раз в 1000 больше