Медленнее чем делать такой джойн, как в сабже?

в любом случае медленнее, они полным датасетом оперируют

Медленнее чем делать такой джойн, как в сабже?

вот у меня на локале на 40кк отрабатывает вообще моментально.

А под нагрузкой в проде - 10 сек

Хз, могут ли еще 30 миллионов так деградировать производительность

40кк строк во временную таблицу у тя будут ощутимо долго писаться

еще и диск лочить ?

Хз, могут ли еще 30 миллионов так деградировать производительность

абсолютли

абсолютли

блин, вчера хотел потестить, но у меня дамп не доконца развернулся - место закончилось))

А если я проверну то же самое, но с подзапросом, который уже отфильтрует по clientId?

но ты не учитываешь тот факт что в проде диск может быть занят гораздо больше и соединений с базой так же больше :)

скажем если он на 100% молотит своими шпинделями, у тебя запрос может и час отрабатывать

но ты не учитываешь тот факт что в проде диск может быть занят гораздо больше и соединений с базой так же больше :)

не, я понимаю) просто нет пре-прод сервера и приходится гадать по кофейной гуще о производительности

Хз, могут ли еще 30 миллионов так деградировать производительность

ты бы разбил на таблицы по appId и выбирал из нужной или сфинкс / еластик поставил бы Сколько у тебя appId?

ты бы разбил на таблицы по appId и выбирал из нужной или сфинкс / еластик поставил бы Сколько у тебя appId?

пол миллиона. будет больше

попробуй еластик. Находи в нем id и передавай в mysql, будет быстрей

какое железо на сервере?

Посмотрю в его сторону, спасибо. Никогда не приходилось юзать

Хотя анти джоин может через NOT EXISTS наоборот быть медленее...

какое железо на сервере?

16 ядер, много оперативы, точно не помню. Там много всего крутится и один mysql тащит сразу кучу всего. У нас есть elastic для логов, пока не понял как он поможет

Уважаемые гуру, не могли бы подсказать про оптимизацию запроса и индексы в MySQL? Есть большая табличка с новостями (1 500 000+ записей). Надо мне выбрать записи за определенное время, у которых заполнены все поля (у черновиков что-то может быть пустым). Я делаю: SELECT news.title FROM news WHERE DATE(application.changes_date) >= DATE(NOW() - INTERVAL 30 DAY) AND title <> '' AND body <> '' AND ... - еще несколько полей, проверяющихся на не пусто. При таком запросе выборка происходит очень медленно (а если использовать эту выборку в качестве подзапроса с LEFT JOIN, то вообще несколько минут). Как бы мне правильно оптимизировать этот запрос? Я сделал индекс по полю date, но EXPLAIN показывает, что этот индекс используется, если я произвожу выборку ТОЛЬКО по полю date. Если же я добавляю проверку еще на остальные поля, то индекс уже не используется. Можно как-то ускорить выборку, не делая состовного индекса сразу по всем полям, которые используются в запросе?

Уважаемые гуру, не могли бы подсказать про оптимизацию запроса и индексы в MySQL? Есть большая табличка с новостями (1 500 000+ записей). Надо мне выбрать записи за определенное время, у которых заполнены все поля (у черновиков что-то может быть пустым). Я делаю: SELECT news.title FROM news WHERE DATE(application.changes_date) >= DATE(NOW() - INTERVAL 30 DAY) AND title <> '' AND body <> '' AND ... - еще несколько полей, проверяющихся на не пусто. При таком запросе выборка происходит очень медленно (а если использовать эту выборку в качестве подзапроса с LEFT JOIN, то вообще несколько минут). Как бы мне правильно оптимизировать этот запрос? Я сделал индекс по полю date, но EXPLAIN показывает, что этот индекс используется, если я произвожу выборку ТОЛЬКО по полю date. Если же я добавляю проверку еще на остальные поля, то индекс уже не используется. Можно как-то ускорить выборку, не делая состовного индекса сразу по всем полям, которые используются в запросе?

сделай поле "is_draft" и ставь 1 когда все поля заполнены и если какое-то не заполнено ставь обратно 0 И делай выборку where is_draft = 1

Уважаемые гуру, не могли бы подсказать про оптимизацию запроса и индексы в MySQL? Есть большая табличка с новостями (1 500 000+ записей). Надо мне выбрать записи за определенное время, у которых заполнены все поля (у черновиков что-то может быть пустым). Я делаю: SELECT news.title FROM news WHERE DATE(application.changes_date) >= DATE(NOW() - INTERVAL 30 DAY) AND title <> '' AND body <> '' AND ... - еще несколько полей, проверяющихся на не пусто. При таком запросе выборка происходит очень медленно (а если использовать эту выборку в качестве подзапроса с LEFT JOIN, то вообще несколько минут). Как бы мне правильно оптимизировать этот запрос? Я сделал индекс по полю date, но EXPLAIN показывает, что этот индекс используется, если я произвожу выборку ТОЛЬКО по полю date. Если же я добавляю проверку еще на остальные поля, то индекс уже не используется. Можно как-то ускорить выборку, не делая состовного индекса сразу по всем полям, которые используются в запросе?

А boolen переменную черновик/чистовик замутить никак?

статус лучше

А boolen переменную черновик/чистовик замутить никак?

В принципе, возможно. Придется повозиться, конечно, чтобы добавить ее ко всем уже имеющимся записям плюс допилить алгоритм сохранения. Надеялся обойтись только запросом, но, видимо, придется все-же код править.

В принципе, возможно. Придется повозиться, конечно, чтобы добавить ее ко всем уже имеющимся записям плюс допилить алгоритм сохранения. Надеялся обойтись только запросом, но, видимо, придется все-же код править.

добавь поле в бд и поведение на модель профит!

добавь поле в бд и поведение на модель профит!

Ага, точно, не подумал как-то об этом. Спасибо за наводку, пошел ковырять :)

К yii1 можно как-то неймспейсы прикрутить?

К yii1 можно как-то неймспейсы прикрутить?

Да и композер

Точней самое простое через композер

Точней самое простое через композер

Phpstorm жёлтым ругается на классы yii...

Phpstorm жёлтым ругается на классы yii...

Они глобальные должны быть

\Yii и тп

К yii1 можно как-то неймспейсы прикрутить?

можно

че нет-то )

цепляешь композер, композеровский автолоадер и все пашет

Хмм... Это autoload.php который?

Да

А все, просто заново индекс шторм запустил и все ок

Хотя анти джоин может через NOT EXISTS наоборот быть медленее...

Похоже, я нашел решение https://i.gyazo.com/3648fd274a38790f1804f77a83f1fa10.png

Вот такое летает)

Вот такое летает)

Грац)

Вот такое летает)

я удивлен, что твои 30млн конкатенируются очень быстро Но решение прикольное)))

я удивлен, что твои 30млн конкатенируются очень быстро Но решение прикольное)))

там не 30кк, а 16к с копейками, судя по прошлому скрину

мож старый запрос попробовать фиксануть путем перестановки условий во where и использованием другого индекса?

я все равно в таких ситуациях лучше вложенный запрос сделаю находя нужный список max(id)

Похоже, я нашел решение https://i.gyazo.com/3648fd274a38790f1804f77a83f1fa10.png

групп конкат вроде максимум 1024 символа, не? не помню если честно спецификацию, но лимит вроде есть

Вот такое летает)

а план?

групп конкат вроде максимум 1024 символа, не? не помню если честно спецификацию, но лимит вроде есть

там длинна опционально настраивается до кол-ва символов в длинну инта

https://dev.mysql.com/doc/refman/5.7/en/server-system-variables.html#sysvar_group_concat_max_len

429млн created_at сможет склеить, а дальше запрос по бороде пойдет)))

учитывая запятую в длинну - 390 млн

Вот такое летает)

попробуй group_concat_max_len поставить например в 100 Так узнаем за какую длинну отвечает эта опция За длинну при обработке или за длинну строки при финальной выдаче У тебя получается длинна при обработке запроса может быть очень большой, а в результате 10 символов

при отправке почта выходить такой ошибок

может кто помочь?)

может кто помочь?)

есть 1 парень. xDebug

kingtour.uz

узбеки :D

может кто помочь?)

А ты убедись что ресурс к которому ты подключаешься — апнут

может кто помочь?)

тебе бы еще $this->_stream в том месте на null проверить

может кто помочь?)

Почему ты ставишь проверку на === false?

как бы это не мой част кода это SwiftMailer

Почему ты ставишь проверку на === false?

Илюх, это либа вендоровская

как бы не кастом

Илюх, это либа вендоровская

да пое*ать

как бы это не мой част кода это SwiftMailer

попробуй потестить через https://mailtrap.io/

да пое*ать

Верно! Всегда можно отнаследоваться и сделать нормально

@Sorry4Wait и покажи, что у тебя в конфиге

ERROR: S client not available

Верно! Всегда можно отнаследоваться и сделать нормально

+++

как бы это не мой част кода это SwiftMailer

Переопредели класс StreamBuffer в пакете, сделай пул реквест. Поменяй проверку false === На !$this->_stream

mailer' => [ 'class' => 'yii\swiftmailer\Mailer', 'viewPath' => '@app/mailer', 'useFileTransport' => false, 'transport' => [ 'class' => 'Swift_SmtpTransport', 'host' => 'smtp.gmail.com', 'username' => 'pochta@gmail.com', 'password' => 'password', 'port' => '465', 'encryption' => 'ssl', ], ],

mailer' => [ 'class' => 'yii\swiftmailer\Mailer', 'viewPath' => '@app/mailer', 'useFileTransport' => false, 'transport' => [ 'class' => 'Swift_SmtpTransport', 'host' => 'smtp.gmail.com', 'username' => 'pochta@gmail.com', 'password' => 'password', 'port' => '465', 'encryption' => 'ssl', ], ],

Там в настройках мейла не забудь разренение дать, забыл название опции У меня по 587 порту норм работает

mailer' => [ 'class' => 'yii\swiftmailer\Mailer', 'viewPath' => '@app/mailer', 'useFileTransport' => false, 'transport' => [ 'class' => 'Swift_SmtpTransport', 'host' => 'smtp.gmail.com', 'username' => 'pochta@gmail.com', 'password' => 'password', 'port' => '465', 'encryption' => 'ssl', ], ],

А это уже у гугла спрашивай, какого хера он тебе аксес не даёт к почте. Зайди на почту, там письмо должно прийти, что кто-то пытался подключиться. Дай себе грант-акцес и не выё :)

Или какой там второй

попробуй через тестовый сервис прогнать. тут скорее всего гугл тупит. Илюха прав

А это уже у гугла спрашивай, какого хера он тебе аксес не даёт к почте. Зайди на почту, там письмо должно прийти, что кто-то пытался подключиться. Дай себе грант-акцес и не выё :)

Ну, в смысле не у всего гугла, а у gmailа

ну да

пихуй, не важно. суть проблемы - дело в сервисе

Кругом одни проблемы. Одни — заблокали доступ. Другие — неправильно обработали ошибку.

Дело закрыто.

Расследование проведено, суд постановил.

kingtour.uz

А ты шо, расист шоль?

нэ

а почту лучше слать через mailgun

а почту лучше слать через mailgun

как вариант. у меня на проекте не серваке сервер шуршит. пока проблем не было ни разу

а почту лучше слать через mailgun

чем лучше?

мне кажется с него дольше идет

чем лучше?

всем

есть стата, есть логи, можно баунсы онлайн всякие смотреть, плюс рекомендации есть по настройке всяких спф

10к бесплатных писем в месяц хватит почти любому проекту

попиарю :D https://packagist.org/packages/yarcode/yii2-mailgun-mailer

Всем привет. Ребят, подскажите пожалуйста. Куда можно установить node_modules из npm, чтобы мог спокойно обращаться к нему?

Обычо в корне проекта или глобально лежит

Обычо в корне проекта или глобально лежит

Спасибо

Карма @maximniko стала 9

Так, а как мне правильно спасибо сказать, чтобы у пользователя, которого я поблагодарил, карма поднялась?

Так, а как мне правильно спасибо сказать, чтобы у пользователя, которого я поблагодарил, карма поднялась?

Та забей. Здесь это через раз работает

а почту лучше слать через mailgun

Это ж зарегистрироваться надо, ты шо.

Домен настроить.

конфиг поменять