1) увелич ещё, если память позволяет 2) осставь иннодб 3) я бы ещё прогрел выборкой по стотавному индексу какому-нить

а Света в свою очередь взяла конфиг у Димы Кравчука. который конфиг делал под один конкретный бенчмарк. но поскольку никто не шарит, в любой непонятной ситуации все берут его конфиг

Ну я большую часть закомитил, оставил некоторые аспекты которые мне понятны

Я как то пробовал дамбить гигабайты с лперативы на диск и назад... это не передать как грустно

кстати, инстансы тебе тут тоже вряд ли помогут буфер пула, ибо делать собираешься в гордом одиночестве

В чем смысл вообще. Это же не динамический анализ горячих данных. Все статично. Нафига в оперативу перетаскивать

кстати, инстансы тебе тут тоже вряд ли помогут буфер пула, ибо делать собираешься в гордом одиночестве

Понял, закомитил. Что-то ещё там прокачать можно?

1) увелич ещё, если память позволяет 2) осставь иннодб 3) я бы ещё прогрел выборкой по стотавному индексу какому-нить

И да, как лучше всего прогреть по составному индексу? Второй столбец можно через ордер подцепить, а как быть с первым, чтобы наверняка?

И да, как лучше всего прогреть по составному индексу? Второй столбец можно через ордер подцепить, а как быть с первым, чтобы наверняка?

select count(*) from t force key (my_key)

Вот вот заселекти все

а потом ещё select count(*) from t force key (primary) и вжух!

Ток не торопись. Это будет долго

Ток не торопись. Это будет долго

Клиент отваливается через 600 секунд.

select count(*) from t force key (my_key)

Это серъёзно было написано? Ибо оба запроса он в 4 секунды уложил

Это серъёзно было написано? Ибо оба запроса он в 4 секунды уложил

абсолютно серьёзно. всегда так делаю

подозреваю, что секрет фокуса в random vs sequential чтении на стареньких шуршащих винтах

абсолютно серьёзно. всегда так делаю

Поставил селект по запросу выше с лимитом в 50к строк и что-то пока не особо вызывает надежд затея ((

ну тут нужно explain смотреть. и метрики. помылся бы ты, ёжик. в смысле, наняли бы вы себе уже DBA, а?

ну тут нужно explain смотреть. и метрики. помылся бы ты, ёжик. в смысле, наняли бы вы себе уже DBA, а?

Тут бывает хоть одно обсуждение без этого совета? Это мем какой-то узкоспециализированный или просто традиции конфы?

Тут бывает хоть одно обсуждение без этого совета? Это мем какой-то узкоспециализированный или просто традиции конфы?

Ты за год мог бы и привыкнуть уже

Ты за год мог бы и привыкнуть уже

Да всё равно триггерит.

Простой совершенно ведь ясно, что если бы я мог нанять ДБА, я бы не ебался с хтим всем сам. И вот эта фраза, она меня ломает на уровне логики.

Простой совершенно ведь ясно, что если бы я мог нанять ДБА, я бы не ебался с хтим всем сам. И вот эта фраза, она меня ломает на уровне логики.

Ну если у вас там есть бабки оплачивать aws в каких то диких обьемах. То не пойму почему на дба денег не хватает. Просто спросил

Ну если у вас там есть бабки оплачивать aws в каких то диких обьемах. То не пойму почему на дба денег не хватает. Просто спросил

Я уже давно там не работаю

Ой чую я фулл-скан в эксплейне

Я уже давно там не работаю

Вернулся к вождению грузовика? :)

ВВы что, старые знакомые?

И эта задача из тестового задания на анализ данных.

ВВы что, старые знакомые?

Ну так чатик же не вчера образовался

ну не знаю, я тут ещё салага)))

Я бы тоже грузовик поводил. Но не в рф

Я бы тоже грузовик поводил. Но не в рф

Дык приезжай и хоть уводись.

Я бы тоже грузовик поводил. Но не в рф

+1 Я тут даже машину за 3 года ни разу не сел водить.

Котяра, покажи эксплейн

Ща

Красота же

Ты в лаплаандии?

Красота же

А то. Я так в мурманск из питера люблю ездить

@Kote_de_Woland ну вот, тайп=олл же))))

А то. Я так в мурманск из питера люблю ездить

Не ну я не люблю особо часто по таким дорогам ездить. Иногда для романтики и фоток. А так обычно что бы 4 полосы и все такое

ттак шо твоя выборка тестовая и небыстрая

подожди. это вот как avito_support_tickets. ты из авито штоле?

Не ну я не люблю особо часто по таким дорогам ездить. Иногда для романтики и фоток. А так обычно что бы 4 полосы и все такое

Ну так я же не на грузовике. Лыжи кинул в багажник и после работы стартанул. На след день к обеду - в горах.

Дык приезжай и хоть уводись.

Семья же. Но - ванкувер ждет...

подожди. это вот как avito_support_tickets. ты из авито штоле?

Устраивается наверное. Ключевые слова ТЕСТОВОЕ ЗАДАНИЕ

ух, отлегло

Семья же. Но - ванкувер ждет...

Они летать боятся? Тогда вплавь

ттак шо твоя выборка тестовая и небыстрая

+ к этому у тебя используется "меньше", я бы на битвин переписал. Ибо почти каждый раз для поиска на диск

подожди. это вот как avito_support_tickets. ты из авито штоле?

Они же там слонявые все вроде

Они летать боятся? Тогда вплавь

Не все так просто. Это я могу копать, могу не копать. А жена - финансист местного розливу. Там такие не востребованы

@Kote_de_Woland ну вот, тайп=олл же))))

Ну да, это табла на 400к записей, с которой нужно каждую проверить.

Ну да, это табла на 400к записей, с которой нужно каждую проверить.

ну ты же для теста WHERE поставил

Тест твой тока меньшее количество скалярок дал. И всё

подожди. это вот как avito_support_tickets. ты из авито штоле?

Нет, прохожу тестовое задание на вакансию аналитика.

Не все так просто. Это я могу копать, могу не копать. А жена - финансист местного розливу. Там такие не востребованы

Моя тож бухгалтером была. А потом выяснилось что с детства мечтала модельером быть. Сейчас вон ателье свое. Эскизы рисует да шьет на заказ.

ух, отлегло

?

Нет, прохожу тестовое задание на вакансию аналитика.

И норм башляют? Откат нам за помощь будет?)))))

В авито все хвалиились, что ушли в слона. Странно, что они там в мускуле забыли

Они же там слонявые все вроде

Да, дали на слонах машину и отдельно дамп и сказали, что свободен в выборе инструментария

В авито все хвалиились, что ушли в слона. Странно, что они там в мускуле забыли

Хвалиться и пользовать это как бы о разном

Да, дали на слонах машину и отдельно дамп и сказали, что свободен в выборе инструментария

я бы тогда кликхаус какой заюзал наверное, он как раз под HDD написан))))

В авито все хвалиились, что ушли в слона. Странно, что они там в мускуле забыли

Я не в ИТ иду

Хвалиться и пользовать это как бы о разном

Чем больше компания, тем больше пиздят?))))

ERROR: S client not available

я бы тогда кликхаус какой заюзал наверное, он как раз под HDD написан))))

У меня нету времени с ним разбераться. Мне в пятницу надо задание сдать.

@Kote_de_Woland начни с запроса

4 огромных скалярки, и только одна с полным покрытием

У меня нету времени с ним разбераться. Мне в пятницу надо задание сдать.

что за тз?

4 огромных скалярки, и только одна с полным покрытием

Я не врубаюсь в твой текст, я уже несколько недель по разным причинам в диком стрессе и недосыпе, можно более простым языком либо примером?

У меня нету времени с ним разбераться. Мне в пятницу надо задание сдать.

Озвучь тз бум думать. А то модет его проще моей модель скормить и она сама все разложит

смотри. У тебя под каждую строку выполняется 4(!) запроса с агрегацией. И только один из них с покрывающим индексом. Попробуй по сттруктуре глянуть, можно ли уменьшить их количество

количество селектов у тебяполучается 1600000. Каждый из них с агрегацией. Многовато

смотри. У тебя под каждую строку выполняется 4(!) запроса с агрегацией. И только один из них с покрывающим индексом. Попробуй по сттруктуре глянуть, можно ли уменьшить их количество

Есть таблица обращения в саппорт и таблица объяв до и после. Я хочу найти кореляцию между количеством объявлений до и после обращения в саппорт с временем ответа саппорта

ну, це 2 запроса

И вих можно переписать в один с двумя агрегациями

И потом распарсить через сабстринг_индекс какой-нибудь

будет на дохуя быстрее

Проблема в том, что ьам даже один селект уже всё тормазит, а при групировке вообще ад выходит

Естественно. Группировка такого количесства строк для мускуля даром не проходит. Тока недавно обращался к @alexey_kopytov с тем, что плохо группируют последние версии))))

постарайся из 4 скалярных подзапросов сделать один

Уже будет приятнее

Тут не столько групировка

Секунду, дай перекину данные

По сути зависание начинается при поиске среднего значения

Ок, раз тебе всё не нравится - сделай процедурку. Добавь столбцы к таблице, сделай по ней курсор, высчитывай данные и апдейть.

ПОдход гавно, зато гарантированно ничего никогда не отваливается и не блокируется и не зажирает ресурсы

ПОдход гавно, зато гарантированно ничего никогда не отваливается и не блокируется и не зажирает ресурсы

Тоже так думал сделать, вторую таблицу рядом и туда перекладывать данные построчно

я на самом деле не от балды сказал

И пустить в 8 потоков колбасить

У меня при групапировке от пары миллионов строк такой подход оказывается быстрее.

И пустить в 8 потоков колбасить

не умею в процедурах делать потоки)))) А если в коде - вообще шикарно сделаешь тогда

Да я тебе верю, сам к тому же пришёл, но лелеял надежду, что я где-то тупанул и можно ускорить

не умею в процедурах делать потоки)))) А если в коде - вообще шикарно сделаешь тогда

На пхп

Есть таблица обращения в саппорт и таблица объяв до и после. Я хочу найти кореляцию между количеством объявлений до и после обращения в саппорт с временем ответа саппорта

Так ты эт самое. Нафига все в кучу то свалил? Разбей на этапы

Да я тебе верю, сам к тому же пришёл, но лелеял надежду, что я где-то тупанул и можно ускорить

Можно ускорить. Но в целом при слабом железе такой подход вернее.