@ru_python
Andrew12.12.2018
10:15:48
10:15:48
Допустим, у нас есть скрипт, который раз в сутки снимает абонентскую плату с пользователей, пробегаясь по базе апдейтами. Допустим, пользователей 10 миллионов. Допустим, в момент пробега что-то идет не так - сеть отвалилась или еще какая-то ебанина.
Вопрос: весь этот пул апдейтов изначально нужно засовывать в одну транзакцию или ...?
Допустим это говно какое то изначально
Tishka1712.12.2018
10:16:07
10:16:07
LighteR12.12.2018
10:16:32
10:16:32
Ну пайчарм после апдейта последнего у меня ложно ругаться стал на типы(если найду в ближайшее время, то сброшу пример), а вот о mypy не слышал даже
pycharm может иногда лажать с типа, да. Но mypy в данный момент это эталонная реализация и надо в первую очередь на нее ориентироваться
Google
Tigran12.12.2018
10:17:00
10:17:00
Допустим, у нас есть скрипт, который раз в сутки снимает абонентскую плату с пользователей, пробегаясь по базе апдейтами. Допустим, пользователей 10 миллионов. Допустим, в момент пробега что-то идет не так - сеть отвалилась или еще какая-то ебанина.
Вопрос: весь этот пул апдейтов изначально нужно засовывать в одну транзакцию или ...?
Я знаю кейс «поставить на каждого пользователя таску в отказоустойчивую очередь тасок с ретраями»
Марк12.12.2018
10:17:32
10:17:32
Я знаю кейс «поставить на каждого пользователя таску в отказоустойчивую очередь тасок с ретраями»
Очередь на основе какого софта?Andrew12.12.2018
10:17:37
10:17:37
Роман12.12.2018
10:17:55
10:17:55
Допустим, у нас есть скрипт, который раз в сутки снимает абонентскую плату с пользователей, пробегаясь по базе апдейтами. Допустим, пользователей 10 миллионов. Допустим, в момент пробега что-то идет не так - сеть отвалилась или еще какая-то ебанина.
Вопрос: весь этот пул апдейтов изначально нужно засовывать в одну транзакцию или ...?
Зависит от бизнес-логики твоей, если они полюбас должны в одной транзакции проходить, то в одной транзакции нужно их и проводить)Марк12.12.2018
10:17:55
10:17:55
Tigran12.12.2018
10:17:57
10:17:57
celery, например
Tishka1712.12.2018
10:18:47
10:18:47
Марк12.12.2018
10:19:30
10:19:30
Vyacheslav12.12.2018
10:19:38
10:19:38
Зависит от бизнес-логики твоей, если они полюбас должны в одной транзакции проходить, то в одной транзакции нужно их и проводить)
ИМХО нет особого смысла использовать транзакцию для всех пользователей сразу, достаточно контроля состояния каждого из них, зачем откатывать операцию с пользователем 100023 если на пользователе 1001273181 отвалился коннектGoogleVyacheslav12.12.2018
10:20:10
10:20:10
А вот взаимосвязанные вещи, типа отнять у одного, прибавить другому, они всегда должны быть в транзакции
Andrew12.12.2018
10:20:17
10:20:17
У тебя же "дохулеард" вариантов було в запасе?
Ну могу предложить ещё отделить в схеме взаиморасчеты от статичных данных
Yegor12.12.2018
10:20:36
10:20:36
Под виндой большие и маленькие буквы не различаются
нет. У меня такое чувство, что он не знает пути к modulesМарк12.12.2018
10:20:53
10:20:53
Ну могу предложить ещё отделить в схеме взаиморасчеты от статичных данных
Что это даст в приведенном кейсе?Роман12.12.2018
10:20:55
10:20:55
ИМХО нет особого смысла использовать транзакцию для всех пользователей сразу, достаточно контроля состояния каждого из них, зачем откатывать операцию с пользователем 100023 если на пользователе 1001273181 отвалился коннект
Ну да, согласен, но мы же не знаем, какая там логика у негоAndrew12.12.2018
10:21:44
10:21:44
Что это даст в приведенном кейсе?
делаешь вставку, никому не мешаешь. В случае неудачи безболезненно повторяешьTishka1712.12.2018
10:22:00
10:22:00
Роман12.12.2018
10:22:14
10:22:14
Andrew12.12.2018
10:22:28
10:22:28
Yegor12.12.2018
10:22:44
10:22:44
@where_is_your_god_now как это проверить? Пытаюсь эту кашу запустить с virtualenv
Tishka1712.12.2018
10:24:00
10:24:00
Эмм
Роман12.12.2018
10:24:05
10:24:05
м?
Yegor12.12.2018
10:24:15
10:24:15
в виртуаленв по умолчанию второй питон засетапился
Роман12.12.2018
10:24:29
10:24:29
ну и какая разница?
Yegor12.12.2018
10:24:33
10:24:33
а модули которые нужны для работы ставил через pip3
Tishka1712.12.2018
10:24:57
10:24:57
Ээ
GoogleYegor12.12.2018
10:24:58
10:24:58
В общем работает
Yegor12.12.2018
10:25:25
10:25:25
Единственно что радует в десятке - можно баш искаропки поиметь
Марк12.12.2018
10:25:31
10:25:31
Ну могу предложить ещё отделить в схеме взаиморасчеты от статичных данных
Типо у нас есть условная таблица в виде Вася- 100 рублей, и есть отдельная таблица с историей всей списаний?Роман12.12.2018
10:25:37
10:25:37
ну ошибся человек, бывает
Vyacheslav12.12.2018
10:25:43
10:25:43
Что это даст в приведенном кейсе?
переведу с профессионального: помимо хранения статичной суммы, часто юзают ещё вариант, когда баланс берётся не из одной записи, а как результат всех зачислений и списанийРоман12.12.2018
10:25:58
10:25:58
Типо у нас есть условная таблица в виде Вася- 100 рублей, и есть отдельная таблица с историей всей списаний?
ну для платежей это неплохоYegor12.12.2018
10:26:11
10:26:11
@Tishka17 модулес лежит рядом с run.py чего так не хотело работать не знаю
Роман12.12.2018
10:26:31
10:26:31
будет проще решать конфликты и целостность проверять
Vyacheslav12.12.2018
10:26:34
10:26:34
+ 200 руб зачисл
- 150 руб потрачено
+ 100 зачислено
баланс = 150
Andrew12.12.2018
10:27:31
10:27:31
Типо у нас есть условная таблица в виде Вася- 100 рублей, и есть отдельная таблица с историей всей списаний?
Есть отдельная таблица
Вася / Адрес / Тариф
Отдельная таблица
Тариф Ставка
Отдельная таблица расчеты
начисления / списания / тариф / дата
Для примераРоман12.12.2018
10:27:39
10:27:39
@MarkEgorov А поповоду очередей тебе уже сказали, и все в отдельной транзакции, так у тебя хотя бы частично но абонплата спишется.
Марк12.12.2018
10:28:18
10:28:18
@MarkEgorov А поповоду очередей тебе уже сказали, и все в отдельной транзакции, так у тебя хотя бы частично но абонплата спишется.
Тут вопрос в том, чтобы в случае проблем сделать полный откат.Роман12.12.2018
10:28:42
10:28:42
Тут вопрос в том, чтобы в случае проблем сделать полный откат.
ну если так, то пихай все в одну транзакциюМарк12.12.2018
10:29:24
10:29:24
ну если так, то пихай все в одну транзакцию
А она столько вообще тащит? Просто сам никогда не проверялVyacheslav12.12.2018
10:29:52
10:29:52
ну может требование бизнеса такое жежь
Ну если бизнес-правило, то да. Но при очень большой базе это будет крайне неэффективноРоман12.12.2018
10:30:16
10:30:16
GoogleAndrew12.12.2018
10:31:04
10:31:04
А она столько вообще тащит? Просто сам никогда не проверял
Сколько угодно. Обзаведись местом на диске только сначалаРоман12.12.2018
10:31:09
10:31:09
А она столько вообще тащит? Просто сам никогда не проверял
а какая субд разница? вроде как места только должно быть с запасом, если я правильно понимаю работу транзакцийчтобы журнал записать
Марк12.12.2018
10:33:07
10:33:07
Лан, я понял варианты: посмотреть, можно ли сменить схему, глянуть на очередя или всё в глобальную транзакцию. Еще такой вопрос: стоит ли городить многопоточный демон для апдейтов? Или цикла с последовательной вставкой достаточно?
Да, в скуле апдейты на таблицу будут всё равно последовательно отрабатывать, но мож так быстрее в целом
Роман12.12.2018
10:35:00
10:35:00
ну навряд ли ты что-то лучше разрабов субд придумаешь
Yegor12.12.2018
10:35:19
10:35:19
Зато в баше многопоточный скрипт по человечески через ctrl+c стопается!
Марк12.12.2018
10:36:04
10:36:04
ну навряд ли ты что-то лучше разрабов субд придумаешь
Я к тому, что сам цикл на петоне может быть медленней последовательной вставки в скуль. Поэтому и интересуюсь вариком вставки в многопоточном режиме.AdminERROR: S client not available
Yegor12.12.2018
10:36:57
10:36:57
Товарищи есть кто работал с гугловской firebase или как там ее?
Роман12.12.2018
10:39:17
10:39:17
Vlad12.12.2018
10:42:07
10:42:07
Хааааай
Anton12.12.2018
10:42:09
10:42:09
Хааай
Vlad12.12.2018
10:42:31
10:42:31
Ай эм олдмэн
Anton12.12.2018
10:42:38
10:42:38
Ай эм ту
Роман12.12.2018
10:42:44
10:42:44
Я к тому, что сам цикл на петоне может быть медленней последовательной вставки в скуль. Поэтому и интересуюсь вариком вставки в многопоточном режиме.
Навряд ли, у тебя же ещё есть взаимодействие с самой бд естьПо сети или через юникс сокет
IliaAndrew12.12.2018
10:43:39
10:43:39
Я к тому, что сам цикл на петоне может быть медленней последовательной вставки в скуль. Поэтому и интересуюсь вариком вставки в многопоточном режиме.
Вставка не поштучно а пачками эффективнееGoogleМарк12.12.2018
10:44:15
10:44:15
Роман12.12.2018
10:44:15
10:44:15
AlexРоман12.12.2018
10:44:51
10:44:51
Роман12.12.2018
10:45:33
10:45:33
Подписыыаешься на уведомления, и тебе шлются вставляемые данные в реалтайме
Yegor12.12.2018
10:46:47
10:46:47
Больше похоже на работу с observable коллекцией
Да я вот смотрю в бесплатный прайс. Там можно 20К записей в сутки. Мой скрипт за один проход будет делать 26К записей только на стартеAndrew12.12.2018
10:47:27
10:47:27
Vlad12.12.2018
10:47:54
10:47:54
Как мне поучить файл Exel по прямой ссылке на Exel ? АИМММММ???!? http://omc.univ.kiev.ua/wp-content/uploads/2018/12/1-тижд-1-курс-1.xlsx
Yegor12.12.2018
10:48:42
10:48:42
Как мне поучить файл Exel по прямой ссылке на Exel ? АИМММММ???!? http://omc.univ.kiev.ua/wp-content/uploads/2018/12/1-тижд-1-курс-1.xlsx
всмысле ты хочешь скачать файл питоном?Роман12.12.2018
10:48:48
10:48:48
Kobe12.12.2018
10:48:57
10:48:57
Как мне поучить файл Exel по прямой ссылке на Exel ? АИМММММ???!? http://omc.univ.kiev.ua/wp-content/uploads/2018/12/1-тижд-1-курс-1.xlsx
import requests
url = 'http://google.com/favicon.ico'
r = requests.get(url, allow_redirects=True)
open('google.ico', 'wb').write(r.content)Yegor12.12.2018
10:49:11
10:49:11
Либо же почитать и пепепмсать
На лету почитать не получится, ексель формат это архив, его надо сразу скачать и потом работать с нимKobe12.12.2018
10:49:50
10:49:50
Как мне поучить файл Exel по прямой ссылке на Exel ? АИМММММ???!? http://omc.univ.kiev.ua/wp-content/uploads/2018/12/1-тижд-1-курс-1.xlsx
о, это будет ботом для расписания?)
Никита12.12.2018
10:49:57
10:49:57
Кто нибудь знает как зарегестрировать flask_classy вьюху в flask_apispec?
docs.register(ClassyView) не подходит
Открыть в Telegram