судя по гиту фласк популрней на много ботла.

посмотри коммиты во фласк

Да и это уже вопрос PR

про хероку все слышали

а про оупеншифт нет

так а чем фласк не угодил?

статики для портфолио не хватит? для чего тебе фреймворк?

Раз зашла об этом речь

@app.get('/<filename:re:.*\.js>') def static_js(filename): return static_file(filename, root='static/js')

Подскажите знатоки, как мне элегантнее раздавать статику в bottle?

Приведённый вариант хардкор какой-то.

зачем раздавать статику через фреймворк?

Вот сразу об этом не подумал что-то, точно ведь.

Спасибо.

а когда у gunicorn много воркеров - то они все пробегают по приложению, и все делают это действие

Можно по-рабоче-крестьянски: записать флажок в редис после первого действия, а остальные воркеры пущай в него сначала смотрят

пущай?

Да

А можно поинтересоваться, что должно происходить при старте один раз?

Можно: установка вебхука, к примеру

я бы разделил эти действия просто

тем же системд после старта гуникорна, чтобы запукался один раз скрипт установки вебхука

как отобразить все бинарники, которые есть с тем или иным названием в $PATH?

таб-таб

то есть копать в сторону автокомплита

Очень странно.

Поставил десятку, нужен lxml. Ругается на VS Build Tools, хотя всё установлено.

setuptools обновил

посоветуйте какой жоский скрипт можно написать ?

https://puu.sh/rW5ho/a0e0905aad.png

Кто-нибудь сталкивался с подобным?

Кто-нибудь сталкивался с подобным?

http://www.lfd.uci.edu/~gohlke/pythonlibs/

сто раз. нужно ставить библиотеки visual studio для сборки сишных модулей или искать готовые сборки

Кто-нибудь сталкивался с подобным?

Нет, ни разу. В нормальном случае требуется GCC

http://www.lfd.uci.edu/~gohlke/pythonlibs/

Спасибо

сто раз. нужно ставить библиотеки visual studio для сборки сишных модулей или искать готовые сборки

Ну вот меня удивило, что установки пары пакетов от Майкрософт не хватило

Зря я затеял это дело с переходом на 35

Сидел бы на 27 своём и сидел)

пакеты устанавливают .dll, а нужны заголовки .h

посоветуйте какой жоский скрипт можно написать ?

Напиши скрипт для установки lxml и всех требуемых библиотек на любую платформу.

он колесом ставится

теперь

http://www.lfd.uci.edu/~gohlke/pythonlibs/

Благодарю https://puu.sh/rW5sv/469245f78b.png

Зря я затеял это дело с переходом на 35

Зря затеял сидеть на винде

multiprocesing дает настоящую многопоточность?

он даёт мультипроцесность

А мультипоточность - это в threading скорее всего

в названии всё сказано, верно =)

посоветуйте какой жоский скрипт можно написать ?

Бэкап данных, проверка дублей, проверка пустых папок и их удаление

А мультипоточность - это в threading скорее всего

точно так

Нуждаюсь в конструктивной критике. Есть решение, которое заливает данные в постгрес используя обычный insert. Данных много, insert медленный. Как и вижу улучшение существующего решения: вместо insert'ов использовать COPY_FROM, входные данные брать из csv файлов. Предварительно экспортнув одну таблицу в один файл, так что для 20 таблиц 20 csv-шок. И каждую CSV заливать в отдельном потоке, предварительно открыв новый коннект к постгресу.

хитро...

может пора подумать о nosql?

я за&$@лся доносить это до кастомера

а, ну бывает

но там еррор 500, меня просто форсят перейти на Goole BigQuery

но данных в системо всего 4 Гб

вернее даже 3.5 - 4.2 Гб

это неоправданно использовать BQ для такого количества

пока что сопротивляюсь как могу

просто сейчас это все как-то с горем способно залить 4Гб за 9 часов

если не упадет

а оно еще и падает, причем падает стабильнее чем стабильно работает

а почему падает?

я бы сказал потому что на стороне клиента девопсы идиоты

но так скажу что не знаю )

сторона клиента это та, где постгря?

ERROR: S client not available

она

просто сейчас это все как-то с горем способно залить 4Гб за 9 часов

А таблица, наверное, с кучей инедксов да триггеров?

триггеров нету

а индексами местные дба фиксали производительность, так что тут вы правы - индексов наверное чуть больше чем до№%я

А писать надо всегда или периодично?

но данных в системо всего 4 Гб

https://www.postgresql.org/docs/9.6/static/populate.html читал?

>If you are adding large amounts of data to an existing table, it might be a win to drop the indexes, load the table, and then recreate the indexes Вот это хотел предложить.

Никак я не вкатываю как правильно написать приложение. Приложение - агент системы мониторинга (да велик, сказали пилить самому). Приложение должно 1. выполнять разнообразные задачи (проверить/почитать файлик, залезть в бд, пингануть и прочее) с каким то интервалом времени или по расписанию (расписания у задач разные). Результаты - в файлик. 2. Держать локальный вебсервер чтобы открыть его и посмотреть как живется приложению, что оно прям ща делает, может поконфигурить, позапускать задачи вручную и все такое 3. держать связь с центральным серваком - таким же приложением, чтобы слать ему результаты задач. Центарльный сервак в принципе такое же приложение, просто подключено к монге (или типа того). Помимо прочего при обрыве подключения должны быть алерты (подключение к центральному серваку я думал сделать через websocket) Проблема в том что тут получается 1 - вебсервак, 2 - ws клиент, 3 - запускатель задач. И это все должно между собой общаться. Как это написать на какой нить яве или шарпе - я прекрасно понимаю ваще проблем нет, все было бы мноогопоточно и все такое А с питоном как я понимаю надо как то извернуться, потому что нельзя в одном потоке читать файлик и крутить вебсервер

Что мешает тебе в одном потоке читать файлик, а в другом крутить вебсервер?

GIL, если что, не мешает

А как с вебсервера посмотреть что там в потоке чтения файла, сколько мегов уже прочитано например

просто обратиться за чтением в другую переменную?

можно через https://docs.python.org/3/library/queue.html со стороны читателя пушить обновления например

А шарить переменную можно между потоками?

А шарить переменную можно между потоками?

можно, но только тебе надо будет доступ обложить локом

впрочем, если это тупо каунтер и писатель только один - можно без локов

Никак я не вкатываю как правильно написать приложение. Приложение - агент системы мониторинга (да велик, сказали пилить самому). Приложение должно 1. выполнять разнообразные задачи (проверить/почитать файлик, залезть в бд, пингануть и прочее) с каким то интервалом времени или по расписанию (расписания у задач разные). Результаты - в файлик. 2. Держать локальный вебсервер чтобы открыть его и посмотреть как живется приложению, что оно прям ща делает, может поконфигурить, позапускать задачи вручную и все такое 3. держать связь с центральным серваком - таким же приложением, чтобы слать ему результаты задач. Центарльный сервак в принципе такое же приложение, просто подключено к монге (или типа того). Помимо прочего при обрыве подключения должны быть алерты (подключение к центральному серваку я думал сделать через websocket) Проблема в том что тут получается 1 - вебсервак, 2 - ws клиент, 3 - запускатель задач. И это все должно между собой общаться. Как это написать на какой нить яве или шарпе - я прекрасно понимаю ваще проблем нет, все было бы мноогопоточно и все такое А с питоном как я понимаю надо как то извернуться, потому что нельзя в одном потоке читать файлик и крутить вебсервер

aiofile

да, можно, но возможно ты этого не хочешь, а хочешь таки очереди или внешнее хранилище для состояния

если это не скрипт на написать и забыть, а то, что нужно будет развивать и поддерживать

aiofile

Это правда обертка над отдельным тредом но тем не менее работает

aiofile

https://github.com/felipecruz/pyaio

оно?

https://github.com/Tinche/aiofiles

Но нужно понимать, что чтение файлов в нескольких тредах это только иллюзия, ибо интерфейсы последовательные везде

https://www.postgresql.org/docs/9.6/static/populate.html читал?

для 9.4 читаю

Никак я не вкатываю как правильно написать приложение. Приложение - агент системы мониторинга (да велик, сказали пилить самому). Приложение должно 1. выполнять разнообразные задачи (проверить/почитать файлик, залезть в бд, пингануть и прочее) с каким то интервалом времени или по расписанию (расписания у задач разные). Результаты - в файлик. 2. Держать локальный вебсервер чтобы открыть его и посмотреть как живется приложению, что оно прям ща делает, может поконфигурить, позапускать задачи вручную и все такое 3. держать связь с центральным серваком - таким же приложением, чтобы слать ему результаты задач. Центарльный сервак в принципе такое же приложение, просто подключено к монге (или типа того). Помимо прочего при обрыве подключения должны быть алерты (подключение к центральному серваку я думал сделать через websocket) Проблема в том что тут получается 1 - вебсервак, 2 - ws клиент, 3 - запускатель задач. И это все должно между собой общаться. Как это написать на какой нить яве или шарпе - я прекрасно понимаю ваще проблем нет, все было бы мноогопоточно и все такое А с питоном как я понимаю надо как то извернуться, потому что нельзя в одном потоке читать файлик и крутить вебсервер

ну так и напиши на яве или шарпе, зачем тебе питон?

А как с вебсервера посмотреть что там в потоке чтения файла, сколько мегов уже прочитано например

если один поток только читает переменную, а другой только пишет, то можно и без Queue, а обычным словарем обойтись

ну так и напиши на яве или шарпе, зачем тебе питон?

скачайте книгу лутца, том первый кажется. Там есть две главы на тему, которая вас интересует. Потратьте неделю на изучение, само собою "переписав" все примеры, вставляя в каждый деббагер, кастомизируя их и т.д. Тогда поймете. Мир был бы прекрасен, если бы 1 раз прочитав человек мог постигать все прелести науки

сказано писать на питоне

и уже потом начинайте что-то писать

скачайте книгу лутца, том первый кажется. Там есть две главы на тему, которая вас интересует. Потратьте неделю на изучение, само собою "переписав" все примеры, вставляя в каждый деббагер, кастомизируя их и т.д. Тогда поймете. Мир был бы прекрасен, если бы 1 раз прочитав человек мог постигать все прелести науки

Какая именно?