ИМХО он больше на питон похож.

Например https://gist.github.com/bentranter/95d6fc63d990fb6b1092

Например https://gist.github.com/bentranter/95d6fc63d990fb6b1092

те же структуры ;D

ох уж этот Problem Exists Between Keyboard And Chair

EXPLAIN EXTENDED SELECT DATE_FORMAT(created, '%Y-%m-%d') AS `date`, COUNT(*) AS `clicks` FROM clicks WHERE `partner_id` = 'afftiny' AND `created` BETWEEN '2017-08-13' AND '2017-08-24' GROUP BY `date` ORDER BY `clicks` DESC почему при таком запросе на таблице с 2.3кк данных время выполнения 4-7 секунд ? эксплейн и схема внутри https://pastebin.com/CiDQpUke

mysql 5.5.50

в mariadb всё ок

> Using where; Using temporary; Using filesort

индекс есть, как исправить?

индекс на что?)

на оба поля, partner_id, created

clicks

EXPLAIN EXTENDED SELECT DATE_FORMAT(created, '%Y-%m-%d') AS `date`, COUNT(*) AS `clicks` FROM clicks WHERE `partner_id` = 'afftiny' AND `created` BETWEEN '2017-08-13' AND '2017-08-24' GROUP BY `date` ORDER BY `clicks` DESC почему при таком запросе на таблице с 2.3кк данных время выполнения 4-7 секунд ? эксплейн и схема внутри https://pastebin.com/CiDQpUke

Beween на created - это не полноценный индекс

Вот если бы ты все даты засунул в IN, было бы лучше

И, может попробовать сделать составной индекс (partner_id, created, date, clicks)

на оба поля, partner_id, created

Там еще order by и group by

пробуй методом исключения. убери count(*), потом group by

пробуй методом исключения. убери count(*), потом group by

count тут не особо причем. Больше смущает group by и created beetween`.

Норм для тектовой строки которая поместится в mysql а далее вывод в формате json где нужно отдавать как единую строку без \r\n. Или есть более элегантный подход к фильтрации параметров? // для этого: secureArrParams([$_POST['p'], $_POST['p2'], $_POST['p3']]) private function secureArrParams($arr) { $ln = count($arr); while($ln--) { $arr[$ln] = trim($arr[$ln]); $arr[$ln] = nl2br($arr[$ln]); $arr[$ln] = htmlspecialchars($arr[$ln]); $arr[$ln] = addslashes($arr[$ln]); $arr[$ln] = str_replace("\r\n", "", $arr[$ln]) } return $arr; }

count() на innodb довольно медленный. хотя на 2.3к не должно быть проблемой

2.3kk насколько я понял

и тут проблема именно в фулскан

2.3kk

и потом еще и сортировка результата

сортировка не обязательна, просто был запрос, где только с сортировкой начинал исопльзоаться индекс

Норм для тектовой строки которая поместится в mysql а далее вывод в формате json где нужно отдавать как единую строку без \r\n. Или есть более элегантный подход к фильтрации параметров? // для этого: secureArrParams([$_POST['p'], $_POST['p2'], $_POST['p3']]) private function secureArrParams($arr) { $ln = count($arr); while($ln--) { $arr[$ln] = trim($arr[$ln]); $arr[$ln] = nl2br($arr[$ln]); $arr[$ln] = htmlspecialchars($arr[$ln]); $arr[$ln] = addslashes($arr[$ln]); $arr[$ln] = str_replace("\r\n", "", $arr[$ln]) } return $arr; }

иди читай про PDO

и prepared statements

возвращайся только как дочитаешь и разберешься

так потом и в pdo через prepare

->execute([p1, p2])

вот как раз этот запрос SELECT `phone`, COUNT(*) AS subscriptions FROM `users` WHERE `status` IN('active', 'finished') AND `created` BETWEEN '2017-08-19 00:00:00' AND '2017-08-21 00:00:00' GROUP BY phone HAVING subscriptions >= 3 ORDER BY subscriptions DESC

Норм для тектовой строки которая поместится в mysql а далее вывод в формате json где нужно отдавать как единую строку без \r\n. Или есть более элегантный подход к фильтрации параметров? // для этого: secureArrParams([$_POST['p'], $_POST['p2'], $_POST['p3']]) private function secureArrParams($arr) { $ln = count($arr); while($ln--) { $arr[$ln] = trim($arr[$ln]); $arr[$ln] = nl2br($arr[$ln]); $arr[$ln] = htmlspecialchars($arr[$ln]); $arr[$ln] = addslashes($arr[$ln]); $arr[$ln] = str_replace("\r\n", "", $arr[$ln]) } return $arr; }

так же почитай про флаги для json_encode

я в ручную json собираю, отправляю заголовок и сам echo json

я в ручную json собираю, отправляю заголовок и сам echo json

а в чем проблема то?

видимо у тебя много свободного времени)

Норм для тектовой строки которая поместится в mysql а далее вывод в формате json где нужно отдавать как единую строку без \r\n. Или есть более элегантный подход к фильтрации параметров? // для этого: secureArrParams([$_POST['p'], $_POST['p2'], $_POST['p3']]) private function secureArrParams($arr) { $ln = count($arr); while($ln--) { $arr[$ln] = trim($arr[$ln]); $arr[$ln] = nl2br($arr[$ln]); $arr[$ln] = htmlspecialchars($arr[$ln]); $arr[$ln] = addslashes($arr[$ln]); $arr[$ln] = str_replace("\r\n", "", $arr[$ln]) } return $arr; }

SELECT COUNT(*) FROM clicks WHERE `partner_id` = 'afftiny' AND `created` BETWEEN '2017-08-13' AND '2017-08-24' вобщем этот запрос работает столькоже долго, значсит проблема в between, нужно иначе даты фильтровать

хз как -_-

без between работает моментально

если промежутки дат небольшие, может и правда where in?

я филтрую по дате, а в таблице у меня datetime

для in нужно ведь полное совпадение

мб like тогда ?)

А от datetime в сторону timestamp избавиться нельзя?

нет времени на это скорее

рефакторинг не уместен, т.к. проект и так под снос давно пора

что explain пишет?

А разница? Как вариант сделать ещё одно поле date от created

explain на счётчик с between?

Я про datetime и timestamp

а сейчас в mysql что популярно, процедуры вызывать или из приложения запросы слать?

Процедуры зло нетестируемое

explain на счётчик с between?

На полный

мне тоже лично обычные запросы удобно

https://pastebin.com/CiDQpUke

а сейчас в mysql что популярно, процедуры вызывать или из приложения запросы слать?

если ты dba - то процедуры популярнее. если ты разработчик приложения - то популярнее из приложения)

Заодно может кто расскажет как тестируют процедуры

а сложные запросы можно через orm составлять? или там только crud?

процедуры плохи тем, что шардинг уже не реализовать без большого оверхеда

процедуры плохи тем, что шардинг уже не реализовать без большого оверхеда

а зачем тебе шардинг?)

по поводу запроса: попробуй составной индекс на partner_id, created поставить

шардинг это как последнее что стоит делать

когда уже все остальное перепробовал

по поводу запроса: попробуй составной индекс на partner_id, created поставить

так у него ж вроде так и было

нет, там 2 отдельных

и кажется процедуры по-моему не экспортируются в одном в файле с данными

не очень удобно

но индекс для фильтра поможет, filesort и temporary останутся

https://pastebin.com/CiDQpUke

Накакого криминала не вижу. Я бы создал поле с timestamp создания записи, старые бы обновил из created и делал выборку по нему. По идее, должно быть быстрее

и кажется процедуры по-моему не экспортируются в одном в файле с данными

это не проблема, это как изменения схемы надо хэндлить

ну то есть если ты выбрал процедуры то работать можно и есть масса инструментов

просто это "по другому"

нет, там 2 отдельных

тогда понятно, ибо mysql до 5.6 вроде как не умеет в merge index-ы

как же я люблю postgres)

как же я люблю postgres)

И сразу вопрос, что-то типа Sequel Pro есть под постгресс? Или чем пользуешься?

И сразу вопрос, что-то типа Sequel Pro есть под постгресс? Или чем пользуешься?

psql

брутально

SqlYog есть)

psql

это cli?

да

ну так то да)

деплой хранимых процедур происходит гораздо сложнее

ну а мне больше ничего и не надо особо.

там гитом не воспользуешься

надо дропать сначала, и только потом новую создавать

там гитом не воспользуешься

может просто ты не изучал этот вопрос?

SqlYog есть)

оно MySQL же судя по сайту? не?

составной индекс начальный запрос ускорил, теперь 2 секунды работает

надо дропать сначала, и только потом новую создавать

и как это коррелируется с "в git не похранить"?

было время, когда писал на дельфи, поэтому делали логику приложения в основном на хранимых процедурах. Пытался потом переносить это на php, кучу проблем слоивл

есть масса инструментов упрощающих это добро

ну то есть если ты выбрал процедуры то работать можно и есть масса инструментов

У нас есть легаси процедуры, и рефакторить возможности нет пока, как их можно дебажить? Есть ли какие нибудь инструменты. (Mysql)

У нас есть легаси процедуры, и рефакторить возможности нет пока, как их можно дебажить? Есть ли какие нибудь инструменты. (Mysql)

понятия не имею, сходи в чатик к DBA

)

я процедуры принципиально не юзаю

Я тоже)

составной индекс начальный запрос ускорил, теперь 2 секунды работает

а сколько было? и что сейчас explain показывает?

составной индекс начальный запрос ускорил, теперь 2 секунды работает

можно еще попробовать сделать NOT NULL колонки которые этого не требуют, cteated например, там точно он нужен?

@masterjus было 4-7 секунд, сейчас добавилось исопльзования индекса

filesort и temporary table останутся, этого не избежать при группировке и сортировке