Ребят я в sql не силён

вещай

немного холивара, но вдруг найдется аргументация за тестинг debian - testing или sid? хочется потыкать и вдруг понравится

немного холивара, но вдруг найдется аргументация за тестинг debian - testing или sid? хочется потыкать и вдруг понравится

разведен, нечем занятся, посмотрел весь youtube

Date C_ID C_SUM AD_SUM 2016-06-06 596269391 2680.4 106 2016-06-06 596269391 2680.4 196.22 2016-06-06 596269391 2680.4 392.99 2016-06-06 596269391 2680.4 1383.98 2016-06-06 596269391 2680.4 106 2016-06-06 596269391 2680.4 389.02

еще бы категории в хранилище)

еще бы категории в хранилище)

какие категории не понял? о чем

Вот мне нужно сделать total_sum для C_SUM но так чтобы C_ID не дублировался за дату

ам..

where C_ID!=C_ID and Date=Date

какие категории не понял? о чем

я про хранилище телеграиа

AdWordsSpendStat.objects.using('db').filter( campaign_id__in=campaigns_ids_array, date__gte=from_date, date__lte=to_date).aggregate( total_cost=Sum("campaign_cost") ) Но при этом нужно какой то distinct on campaign. Понимаете?

я в django ормке ваяю запросы

или я туплю

Т.е брать каждый c_sum только один раз на дату

ой не )) джанго я только ругать умею (

я вот хз как сформулироваь даже словами

у тебя есть c_ID совпадающие за дату

угу

т.е нужно предагрегат какой то а на нём уже агрегат сделать

по сути если я правильно понял тебя... выбрать все уникальные C_ID за дату

только надо ли их суммировать

суммы то разные

короче запутал...

Т.е брать каждый c_sum только один раз на дату

ну по сути я так сказал

хотя да там совпадает суммы

бери уникальное значение за эту дату и считай

Тут можно сделать двумя путями: 1) Выбрать уникальные даты и по ним считать сумму 2) Или же выбирать уникальные C_ID (в джанге проще всего сделать через Count) и тогда считать сумму по дате. В первом случае можно сделать через extra, values, count и sum Во втором - count и sum

Хм

Q() и пошли условия да?

медленно получится. Ок а если вынести в отдельные таблицы c_id, c_sum, Т.е сразу собирать сюда, а затем разбрасывать и оттуда читать

это ко мне?

так оптимальнее?

Eue

Угу

медленно работает workbench

15:24:37 Restoring blala (acc)

а время 1815

лучше бы скриптом залил

Я бы на твоем месте сделал так: 1) Выбрал бы все уникальные даты (extra лучше всего подойдет) 2) Потом через цикл выбрал бы все уникальные C_ID и посчитал сумму для них. Получается запросов 1 + count date (много запросов). Это если через ОРМ. Можно составить чистый sql и там сделать вложеный запрос - это выйдет 1 запрос, но большой - это если не с помощью ORM И третий вариант - как ты и говоришь. Тогда выборка пройдет быстрее (если поставить индексы) и можно использовать ОРМ с небольшими запросами.

Это все конечно же имхо и не претендует на правильность)

Т.е брать каждый c_sum только один раз на дату

c_id в смысле?

Алсо, какая база?

@the_tosh Я думаю, человек Dmitry говорит о том, что c_id за одну дату могут быть несколько и могут повторяться, но нужно выбрать уникальные для каждой даты и по уникальным посчитать общую сумму.

Но c_sum же у них разные, не?

Хотя в примере одинаковые

разные. Пример такой просто.

Тогда какой надо выбрать?

Вот за одну и ту же дату, например c_id 1, c_sum 10 c_id 1, c_sum 20 c_id 1, c_sum 124823479

Ну и вопрос с бэкендом остаётся, т.к. если это постгрес, например, у него есть шикарные window functions

Надо выбрать так: DATE C_ID SUM 2016-06-16 1 12312 2016-06-16 12 33 2016-06-17 1 444

и т.д.

@the_tosh а можешь вкратце рассказать про window functions?

Группировка, получается, date-c_id-c_sum?

Да.

Могу поделиться ссылкой :) https://www.postgresql.org/docs/current/static/functions-window.html Но в общих чертах ты с помощью них как раз для каждой группы выбираешь отдельный результат. Например, тут ты можешь сгруппировать данные как тебе нужно и посчитать сумму для них. Для другой группы результат будет другой. И всё это в одном запросе

@the_tosh Спасибо.

Более того, ты можешь аггрегативно накапливать данные внутри группы

а если чекать код онлайн-линтерами, он никуда не утечет?

Например, мы используем wf как раз для этого: у нас по группам сумма растёт для каждой новой записи (где значение = текущее значение поля + значение этого поля из предыдущей строки)

Могу поделиться ссылкой :) https://www.postgresql.org/docs/current/static/functions-window.html Но в общих чертах ты с помощью них как раз для каждой группы выбираешь отдельный результат. Например, тут ты можешь сгруппировать данные как тебе нужно и посчитать сумму для них. Для другой группы результат будет другой. И всё это в одном запросе

ну это средствами постгри

а если чекать код онлайн-линтерами, он никуда не утечет?

Никто не застрахован

печально

ну это средствами постгри

Я поэтому и спросил, какой бэк

Я поэтому и спросил, какой бэк

понял

ERROR: S client not available

вообще +1 за window func

Кстати, в плане утечки, моё почтение авторам scrapy, которые прикрутили хранилище. Ничего не делают, а данные есть

Кстати, в плане утечки, моё почтение авторам scrapy, которые прикрутили хранилище. Ничего не делают, а данные есть

а можно подробнее

Ну у них есть же https://scrapinghub.com/scrapy-cloud/ Где можно хранить свои парсеры.

Соответственно, им ничего не мешает использовать их и собирать данные (которые можно толкать, например)

и т.д.

Если примерно Джанго Орм код на кидать, то что-то типа такого Траляля.all()..group_by((date, c_id)).extra(summ=Sum(c_sum))

?

Нет. Получается, что запрос сформируется по одному date и по одному c_id и выберится их сумма, но c_id на одну дату могут быть много ведь и тогда группировка по c_id с датой вместе не сойдет.

Если примерно Джанго Орм код на кидать, то что-то типа такого Траляля.all()..group_by((date, c_id)).extra(summ=Sum(c_sum))

Нет. Получается, что запрос сформируется по одному date и по одному c_id и выберится их сумма, но c_id на одну дату могут быть много ведь и тогда группировка по c_id с датой вместе не сойдет.

Я ничего не понял. Для каждой даты должен быть только один cid (какой из многих?), а сумма сумм за всю дату?

а вот я еще по докеру помучаю, можно?

Нафига вы докер юзаете?

git же есть

Лучше пускай Dmitry объяснит, как ему нужно) Это как я понял его слова - что нужно по каждой уникальной дате выбрать уникальные c_id и посчитать сумму по этой уникальной c_id. В дате может быть много c_id (повторяющихся и нет) и куча сумм для этих c_id

эээ

между ними есть что-то общее?

извените я вот не понял

Я ничего не понял. Для каждой даты должен быть только один cid (какой из многих?), а сумма сумм за всю дату?

Выше написал)

а каким образом гит заменяет докер?

смешались кони, люди

и печеньки с мухами.

между ними есть что-то общее?

А что для тебя есть докер?

провокация)

способ запускать приложения в изолированном окружении

Ох щаз бы за докер срачик очередной развести

в гите код, в докере доставка среды по серверам

Я залил свой virtualenv с джанго сайтиком в гит

ну молодец

Зашел с компа другого Написал гит клон Написал source bin/activate

И все

короче, есть прога. Просто так запускается. Засунул ее в докер, там не запускается