возможно я не правильно решаю эту задачу?

убрать опции —exclude-gtids и —database

и всё правильно будет

а это вот прям канонический PITR человек делает. только с опциями mysqlbinlog запутался

Очень давно хочу себе такое. Желательно с интерфейсом)))) Никто не натыкался на готовое решение?

Очень давно хочу себе такое. Желательно с интерфейсом)))) Никто не натыкался на готовое решение?

чтобы забесплатно, да ещё и с интефейсом — не слышал. А за деньги: AWS, MySQL Enterprise Manager

Hi guys, I'm loading a datatable using ajax and PHP+MySql server-side. I load only 25 rows per times, but the query it's too slow because of the size of the db table. How can i speed up server side processing? There are some sort of caching methods?

чтобы забесплатно, да ещё и с интефейсом — не слышал. А за деньги: AWS, MySQL Enterprise Manager

Придётся свой писать)))

да их уже писали. только на моей памяти три обёртки над XtraBackup. но все они как-то быстро загибаются

проблема в том, что написать что-то универсальное непросто. Народ обычно пишет какой-то свой велосипедик, иногда даже выкладывает в open source, но т.к. оно заточено под конкретные условия, это всё умирает вместе со сменой работы автором

а, во, вспомнил. есть люди, которые даже решили бизнес на автоматизации бэкапов сделать: https://twindb.com/

это тоже бывшие перконовцы

Ну, я маленький велосипедик "под себя" и имел ввиду

Добрый день, господа )

У меня есть один извращенный запрос mysql (громоздкий) который падает вот с таким сообщением:

майсам, датвидания...

MyISAM? ?

Происходит это в момент, когда mysql пытается сделать join десятка таблиц и создать tmp таблицу...

MyISAM? ?

да

конвертируй в InnoDB ENGINE

конвертируй в InnoDB ENGINE

мне по этим данным только искать...и чем быстрее, тем лучшее... запрос падает после 13 минут

что мешает искать по InnoDB?

конвертируй в InnoDB ENGINE

а можете объяснить, в чем суть проблемы? А-то у меня ощущение, что у меня не хватает памяти в оперативке

что мешает искать по InnoDB?

13 минут запрос в myisam выполняется...

в иннодб, подразумеваю - будет дольше...

он создает-создает tmp table... а потом вылетает вот cant \write и бла-бла-бла

а можете объяснить, в чем суть проблемы? А-то у меня ощущение, что у меня не хватает памяти в оперативке

у тебя ровно столько памяти в оперативке, сколько должно быть ?

Hi guys, I'm loading a datatable using ajax and PHP+MySql server-side. I load only 25 rows per times, but the query it's too slow because of the size of the db table. How can i speed up server side processing? There are some sort of caching methods?

try to use partitioning

у тебя ровно столько памяти в оперативке, сколько должно быть ?

для чего? Для данных? Не фаааакт...

Хочу пояснить... с таблицами все ок. ЛОМАЕТСЯ таблица, которая tmp... которая результат слияния join... То есть, как мне представляется, он пытается объединить данные в 1 таблицу... и в какой-то момент упирается в объем памяти... и таблица оказывается сломана - он её дропает и как бы "ничего и не было"

Хочу пояснить... с таблицами все ок. ЛОМАЕТСЯ таблица, которая tmp... которая результат слияния join... То есть, как мне представляется, он пытается объединить данные в 1 таблицу... и в какой-то момент упирается в объем памяти... и таблица оказывается сломана - он её дропает и как бы "ничего и не было"

когда он упирается в память в пределах сессии - он скипает таблицу на диск, а не дропает

что мешает искать по InnoDB?

так на скорость это повлияет? Версия майскл довольно старая 5.1 - и это требование "заказчика"

когда он упирается в память в пределах сессии - он скипает таблицу на диск, а не дропает

в 5.1?

пусть заказчик за вас думает, раз это его требование ?

пусть заказчик за вас думает, раз это его требование ?

о чем думает?

как это связано? )

о том как обойти эти падения, например

ну в чем логика вообще? 5.1 позапрошлый век

о том как обойти эти падения, например

так, еще раз, вы можете свою мысль пояснить? (

причем тут иннодб, если речь об майисам?

зачем это делать, если мне нужна скорость select?

зачем это делать, если мне нужна скорость select?

я бы отказался от него хотя бы только потому, что это древнее дерьмо мамонта никто не развивает

я бы отказался от него хотя бы только потому, что это древнее дерьмо мамонта никто не развивает

а по делу есть что сказать?

я бы начал с проверки свободного места

можно и оракл хотеть.... это все не вредно

оракл для кошелька очень вредно

я бы начал с проверки свободного места

вооот.... а какого? Вот myISAM, я полагаю, пытается создавать себя в оперативке, верно?

Пока они туда влезают

нет, там же путь написан /tmp/.... какая опертивка?

когда он упирается в память в пределах сессии - он скипает таблицу на диск, а не дропает

с места где у тебя tmp dir прописан

Пока они туда влезают

а потом - происходит ошибкА, которую я получаю?

с места где у тебя tmp dir прописан

tmpfs

пытался сделать папку на жестком диске, home/mysqldata/ дал ей пользователя одноименного с пользователем mysql и права 1777. Изменил в конфиге переменную tmpdir... оно просто не создает часть таблиц ВООБЩЕ. Собсно, он перестал работать с innoDB таблицами в той же БД

при рестарте - происходит 18 и 28 ошибка (access denied)

нет, там же путь написан /tmp/.... какая опертивка?

tmpfs - это оперативка, вроде бы...

tmpfs - это оперативка, вроде бы...

все fs — немножко оперативка. речь про in-memory vs on-disk temporary tables. вот там они уже on-disk, потому что путь к ним указан

и значит нужно посмотреть, что там может быть. а может быть скорее всего мало места

здесь пытался явным образом указывать папку tmpdir... но тогда он перестает видеть innoDB Oo

df что показывает?

это виртуалка... если это важно )

скорее всего временные таблицы переполняют tmpfs. хотя тут картина неполная

я бы вообще начал с ответа на вопрос "какого хрена временных таблиц на 4G создаётся". но это долго и муторно. а так можно tmpdir направить на корневую фс

скорее всего временные таблицы переполняют tmpfs. хотя тут картина неполная

Вот у меня тоже такое же подозрение... Говорят (тут же, выше), что таблица при переполнении оперативки должна дропаться на диск... Но не факт, что 5.1 так умеет...

это не про то переполнение говорили. здесь оно уже произошло

я бы вообще начал с ответа на вопрос "какого хрена временных таблиц на 4G создаётся". но это долго и муторно. а так можно tmpdir направить на корневую фс

это что-то генератора отчетов... он работает со всей БД и всеми данными (...

"такая вот особенность" (

и вот таблицы на диске забили весь tmpfs. опять же, скорее всего, потому что по тому кусочку errog лога трудно всю картину увидеть

это не про то переполнение говорили. здесь оно уже произошло

то есть, данная ошибка, действительно может возникать из-за переполнения оперативки?

подозрительная какая-то особенность. но аудит запросов и схемы — довольно дорогая услуга :)

и вот таблицы на диске забили весь tmpfs. опять же, скорее всего, потому что по тому кусочку errog лога трудно всю картину увидеть

ошибок кроме этой - нет

подозрительная какая-то особенность. но аудит запросов и схемы — довольно дорогая услуга :)

и стоит дорого...

я бы вообще начал с ответа на вопрос "какого хрена временных таблиц на 4G создаётся". но это долго и муторно. а так можно tmpdir направить на корневую фс

я вам сейчас на эту тему покажу "другую фишечку" )))

ибо я пытался )

в tmpfs лимит на 4G. неважно какая fs, в памяти или на диске, у неё есть лимит. вот за этот лимит мы здесь вылезаем

шта?

в tmpfs лимит на 4G. неважно какая fs, в памяти или на диске, у неё есть лимит. вот за этот лимит мы здесь вылезаем

аааа, понял мысль

у меня tmpfs 10gb

типа 32 64? )

у меня tmpfs 10gb

наверное имеется ввиду возможности самого mysql

хосспади. кто о чём

я вот об этом:

tmpfs has three mount options for sizing: size: The limit of allocated bytes for this tmpfs instance. The default is half of your physical RAM without swap. If you oversize your tmpfs instances the machine will deadlock since the OOM handler will not be able to free that memory.

ну ты ж сам пишешь о том что в tmpfs лимиты ?

https://www.kernel.org/doc/Documentation/filesystems/tmpfs.txt

да, в tmpfs лимиты, какая неожиданность

а так бы весёлая жизнь была у сисадминов

tmpfs has three mount options for sizing: size: The limit of allocated bytes for this tmpfs instance. The default is half of your physical RAM without swap. If you oversize your tmpfs instances the machine will deadlock since the OOM handler will not be able to free that memory.

правильно ли я понимаю, что мне стоит попробовать выставить в конфиге size=2G и попытать удачу снова? )

правильно ли я понимаю, что мне стоит попробовать выставить в конфиге size=2G и попытать удачу снова? )

нет

я предлагал tmpdir положить на корневую fs

я предлагал tmpdir положить на корневую fs

а... тогда он перестает видеть innoDB

все таблицы с данным движком...

не очень понятно почему...

я предлагал tmpdir положить на корневую fs

сейчас продемонстрирую