Можно ускорить. Но в целом при слабом железе такой подход вернее.

7700к / 16гб ддр4 / винт только не ссд, а раптор на 10к оборотов

да тут в целом 2 этапа: 1) подсчитать стату по юзерам 2) сгруппировать стату

Нужно еще мельче бить. И я бы вынес это в приложение а не гонял мускуль.

ну вот к этому и приходим

делаешь маленькую табличку, где поле группировки и стата. Её заполняеь, по ней агрегируешь потом свои 160к строк

Не спец в мускуле. Но в тинкерпоп в рамках сессии. Можешь разбить задачу на отдельные простве запросы и ответы сохранять тут же в переменных сессии. И потом с ними же и оперировать.

А попытки группировать миллионы строк подвесят хоть датацентр :)

Кстати. Если цикл всё равно по всем строкам

А зачем в таблицу складировать если сразу можно в переменные конечный результат писать?

Массив с ключом как поле группировки и двумя значениями: сумма и количество. В коонце поделили одно на второе и вуалля

Короче есть мнение, что грамотный пыхер или ещё какой питонщик набадяжит обработку в пару минут

Вообще из всей кучи интересны только юзеры которые обращались в поддержку и потом постили обьяву

ну, они и только они и будут выбироаться по индексу

Мы же выбираем по обращениям, а не по объявам

Вот сравниваем их с юзерами которые не запостили потом. И с оеми которые просто запостили без поддержки

неее, там же по ид юзера выборка

Зачем?

Нужно же идти от результата. А не смотреть на кучу и думать че там зарыто.

ну, тебе нужна инфа об объявах именно того чувака, который сделал объяву

ну ты и идёшь от обращений

всё верно же

Не идтти же по объявам

Нет. Мне нужна инфа что бы понимать как работает поддержка

их немножко больше

Обьявы запощеные без обращения к поддержке меня не интересуют

так они у тебя и не выберутся

Цикл у тебя по обращениям, а дальше ты дёргаешь объявы того, кето обратился

То есть все его задание сводится к тому что бы увидеть что из 100500 обратившихся в поддержку. 200 человек все же запостили обьяву.

неее, сто после оттвета саппорта стало больше обращений от него

сама постановка задачи слабенькая. Но мы же её решаем, верно?

Эээ это аналитика а не отслеживание клиента

Тут важно видеть картину в целом

ну, пеолучить статистику, что при обращении саппорта меньше часа люди начинают постить в 2 раза больше объяв. А при ответе больше недели - в 10 раз меньше

чем до обращения

Типа поддержка Долго отвечает Плохо отвечает Быстро отвечает но херова. И так далее

но вот "чем до обращения" - оно конечно бред, но мы решаем именно эту задачу сейчас

да понятно, что выборка не о чём. Но к нам же человек обратился помочь сделать именно эту выборку, верно?

Ты в данный момент путаешь урлвни абстракции

Вот сравниваем их с юзерами которые не запостили потом. И с оеми которые просто запостили без поддержки

Там только те, кто точно писал в саппорт

Ты в данный момент путаешь урлвни абстракции

ну, я вроде как проссто решаю задачу чёткую))) МОжно порассуждать о том, что надо выбирать совсем другое, толко это в чат "Аналитики данных" по идее, а не DBA))))

Там только те, кто точно писал в саппорт

Отлично. Тогда нужно с них выделить кто поместил обьяву после общения с сапортом. И кто не поместил. И сравнить время ответа саппорта. 1 корреляция

ну, я вроде как проссто решаю задачу чёткую))) МОжно порассуждать о том, что надо выбирать совсем другое, толко это в чат "Аналитики данных" по идее, а не DBA))))

Дба и аналитика это один хрен с разных сторон

То есть 1. Расписать возможные корреляции из имеющихся данных 2. Сделать запросы по каждой отдельно

Дба и аналитика это один хрен с разных сторон

ну тут просто уже реплика для пьяного холивара на пол ночи)))

ну тут просто уже реплика для пьяного холивара на пол ночи)))

Нет. У меня только обед. И дба не умеющий анализировать данные это позор семьи.

Отлично. Тогда нужно с них выделить кто поместил обьяву после общения с сапортом. И кто не поместил. И сравнить время ответа саппорта. 1 корреляция

Дык чем мой жирный запрос и занимался

Дык чем мой жирный запрос и занимался

Он слишком жирный

Возьми какой яп тебе ближе и на нем накидай

Хвалиться и пользовать это как бы о разном

К авито это, кстати, почти всегда применимо...

К авито это, кстати, почти всегда применимо...

Близко знаком?

Близко знаком?

В хранилище собеседовался. После этого передумал туда идти

В хранилище собеседовался. После этого передумал туда идти

Был бы "старший хранитель священого слона"

Хранилище на вертики у них

У них в хранилище одни, в слонах другие

ERROR: S client not available

Я так понимаю что ты еще доплачивать должен им за такой титул?

Ну не доплачивать

Возьми какой яп тебе ближе и на нем накидай

Уже делаю. Такой вопрос возник, а что это за варнинги оно выдаёт? 1 row(s) affected, 2 warning(s): 1265 Data truncated for column 'listings_before_support_ask_per_month' at row 25 1265 Data truncated for column 'listings_after_support_ask_per_month' at row 7 Records: 1 Duplicates: 0 Warnings: 2

А, всё, понял, он обрезает строку под формат.

Афигеть, через циклы в пыхе всё прошло за полминуты, даже видос толком снять не успел

Афигеть, через циклы в пыхе всё прошло за полминуты, даже видос толком снять не успел

Именно потому и не вижу смысла перекладывать на бд расчеты и условия. Да бд может это. Но она не об этом

Ну самое интересное, что я в принципе ничего не менял

Я просто эти 400К строк прогнал по одной while циклом

Ну ок, я запустил это в 8-ми скриптах параллельно )

Математики, кто может помочь?

Есть пару вопросов по графам, координатам

Есть пару вопросов по графам, координатам

Граф с координатами?

Ага

Чего ага то... вопросы какие?

Ага

Прием..

Прием..

Ты его спугнул...

Ты его спугнул...

Да видимо очередная версия "разрисуем данные стрелочками и скажем граф"

Когда уже догонят что визуализация данных в виде графа не требует каких специальных шаманств. И с хранением такого вон и муська справиться

графы-координаты

и все ради рифмы подозревать имею смелость

Угу. Я поэт Зовут Незнайка От меня вам балалайка

Что ж вы злые то такие) Короче суть в чем , есть граф- маршрут пользователя . Сейчас я прокладываю по нему оптимальный маршрут от точки до точки. Но ещё надо определять направление движения пользователя ( иди прямо, налево или направо)

У каждой точки есть координаты

Бд тут при чем?

БД ни причем , тут математика. Я спросил может кто может помочь

БД ни причем , тут математика. Я спросил может кто может помочь

А в чем сложность определить направление движения? Допустим у тебя есть 3 пары координат, значения по x и y осям. Если объект движется от А к точке Б, то ты можешь определить вектор. Далее после Б идет С, это еще один вектор, следовательно ты можешь немного подшаманить найти угол между двумя векторами и в зависимости от угла выдать лево/право