+-----------------------+ | @@innodb_flush_method | +-----------------------+ | ALL_O_DIRECT | +-----------------------+

какие-то похожие колл-трейсы гуглятся. но никаких конкретных решений, кроме как посмотреть на состояние диска черз smartctl

У меня на сервере софтовый RAID 1 (mdadm), в зеркале новые Intel® SSD DC S3520 Series 800GB

Еще blkio.throttle.write_bps_device через cgroups на 30 MB/s. Думаю, что он в целом возможно бы мог до него добраться.

вот тут гражданин с чем-то очень похожим: https://github.com/zfsonlinux/zfs/issues/4876

centos 7, софтовый raid 1, правда zfs

говорит, что в итоге всё вылечилось сменой IO планировщика с cfq на deadline или noop

Планировщик я давно в deadline переключил

Гайз, утра всем доброго. Кто-нибудь работает в направлении Системный администратор БД (MySQL)? Есть пара вопросов к обладателю столь темной стороной силы. Или тут в основном MySQL проггеры?

ты вопрос озвучь, мож кто и в курсе :)

Системный администратор БД (MySQL) со ставкой на руки 120-140 на сколько риал. Складывается впечатление что таких специалистов просто нет ? и это больное воображение руководителя найти такого

Системный администратор БД (MySQL) со ставкой на руки 120-140 на сколько риал. Складывается впечатление что таких специалистов просто нет ? и это больное воображение руководителя найти такого

Зависит от города )

Добрый день! Подскажите, пожалуйста, с запросом

Зависит от города )

Москва если?

имеется такой запрос, и ошибка, которая ниже гуглил по pass row value to nested subquery, но не нашел рабочего решения

как мне прокинуть туда правильно это значение?

есть кто-нибудь?

наверное дело в алиасе

а что именно может быть с ним не так?

видимо два скалярных подзапроса вложенных друг в друга не дают видеть алиас b

Да, что в это примерно дело, я догадываюсь

но не могу понять, как решить такую проблему

попробуйте заменить на имя таблицы - станет понятно

к какой он может обратиться. а к какой нет

или просто b убрать

b заменить на имя, вы имеете ввиду?

сейчас попробую

а, нет, так не выйдет

потому что в подзапросе та же самая таблица

тогда наверное два подзапроса не видит

если один в другой вложен

перепишите скалярный подзапрос на обычный подзапрос через join зачем такие трудности

который еще и для каждой строки во в нешней таблице будет высчитываться

который еще и для каждой строки во в нешней таблице будет высчитываться

я вроде пытался, но, видимо, чего-то не понимаю

потому что он не работал

у тебя одна и та же таблица используется bot_stats: на условия извне добавится еще одно условие по этой таблице внутри скалярного подзапроса почему бы это не использовать в выборке в самом начале или использовать самообъединение таблицы по этому условию

а чтобы подзапрос увидел алиас b попробуй прокинуть его в первый подзапрос где count,а потом используй его в следующем вложенном подзапросе

а как его туда прокинуть?

я нашел только USING

но он не работает

select count(a.sent), b.datetime

я это имел ввиду

тогда подзапрос будет возвращать несколько колонок, это разве будет работать?

да, ты прав, не будет, об этом я запамятовал

у тебя одна и та же таблица используется bot_stats: на условия извне добавится еще одно условие по этой таблице внутри скалярного подзапроса почему бы это не использовать в выборке в самом начале или использовать самообъединение таблицы по этому условию

а вот это в виде sql я не очень понимаю, как сделать(

ща, налячкаю

SELECT a.datetime, COUNT(a.sent) AS cnt FROM ( SELECT DATE(b.datetime) AS datetime, b1.community_id AS id, SUM(b1.sent) AS sent FROM bot_stats b LEFT JOIN bot_stats b1 ON b.id = b1.id AND b1.datetime >= b.datetime - INTERVAL 3 DAY JOIN vk_channels v ON b1.community_id = v.community_id WHERE DATE(b.datetime) BETWEEN ? AND ? AND DATEDIFF(DATE(b1.datetime), FROM_UNIXTIME(v.created_at)) > 7 GROUP BY 2 HAVING sent > 1000 ) AS a GROUP BY 1

чёт типа такого

или можно весь подзапрос с суммой вынести отдельно, и продублировать в него условия DATE(b.datetime) BETWEEN ? AND ? AND а потом приджойнить к таблице bot_stats и посчитать количество

Спасибо большое! поробую

поробуй

Парни

подскажите как лучше и быстрее реализовать момент

вставлять запись если её нет ещё в базе

что то типа нативного insert if not exists есть в mysql?(mariadb)

инсертишь, ловишь ошибки констрейнтов

есть ошибки = запись уже есть в базе

можно посмотреть в сторону https://habrahabr.ru/post/156489/

инсертишь, ловишь ошибки констрейнтов

ну тоесть на стороне серверного языка палить лучше и быстрее?

чем каждый раз селект в базу фигачить?

просто надо будет пройти милллионы записей

я ни черта сейчас не понимаю

главное резину не палить

если у тебя одна запись, ты не будешь проходить миллионы записей, индекс сам ее найдет без фуллскана

я ни черта сейчас не понимаю

ну я имею ввиду если средствами бд проверку делать-то перед вставкой надо вставляемое значение попытаться выбрать

это все бестолку из-за TOCTOU

ну у меня 300млн записей, из которых в отдельную таблицу сложится наверное несколько тысяч уникальных

было бы неплохо услышать задачу полностью, но на самом деле on duplicate key скорее всего самое оптимальное решение, которое позволит не сортировать ошибки по типу

есть лог

хранится в таблице

есть поле-в котором хранится по сути лог nginx - метод, uri, user agent, refferer

все в одной строке. Задача - в отдельную таблицу вынести инфу по user agent. А в новой таблице лога хранить только id шник

тоесть количество комбинаций юзерагентов ограниченно, они будут в отдельной таблице

хз как объяснить. Типа нормализация

хз как объяснить. Типа нормализация

https://ru.wikipedia.org/wiki/%D0%9D%D0%BE%D1%80%D0%BC%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D1%84%D0%BE%D1%80%D0%BC%D0%B0

задачу которую нужно решить я описал, суть вроде понятна?

не хранить для каждой строки весь матрац инфы о юзерагенте, вынести в отдельную таблицу. Скорее всего вашей ссылкой на insert for update

если задача однократная, то проще всего через select distinct заполнить

если нет, то on duplicate key update, потому что все равно между чтением и записью будет промежуток времени

если задача однократная, то проще всего через select distinct заполнить

а еще limit 1 и не забыть про индексы

он наверное хотел спросить как это наживую сделать)

не поломав продакшн

Нет, с продакшна только селект будет

Как сделать это правильно и быстро

ну тут как бы 300 миллионов записей намекают, что это будет не совсем быстро

Да

плюс, наверное, ты ещё и ключик захочешь на этот айдишник из отдельной таблицы

Поэтому не хотелось бы неправильным выбором кратно увеличить время

плюс, наверное, ты ещё и ключик захочешь на этот айдишник из отдельной таблицы

Да. Но думал в два этапа

Сначала справочник сформировать

Потом уже шлёпать id

если задача однократная, то проще всего через select distinct заполнить

Я так сделал для другого поля. Но тут то инфа про юзерагент хранится в строке вместе с другими данными

Там ещё из строки надо распарсить нужное