недавно про map reduce начали рассказывать

но сложна все это

так… оно только на 3.2+ ?

вот это

дааа

я специально ждал этого

и немного интуитивно, что заказчик согласен, чтобы алгоритм работал в 10 раз медленнее, но хорошо параллелился

иди делай на мультипроцессенге тоже самое :D

епамать )

у меня на проде 2.7.9

вот это

хуячь на баше - быстрее будет:D

Чувак, форкнись и не парься

Столько раз сколько ядер у тебя

12

да го на Си системные вызовы дергай))

Ребят, вопрос: каждый юзер использует сервис (Django) и от каждого возникает поток задач на запись в базу (юзаю Celery) - правильно так делать, или возникнет скоро перегрузка базы от коннектов?

да го на Си системные вызовы дергай))

Зачем? Го на баше

да го на Си системные вызовы дергай))

если чо гугли exec и fork

П - помощь

Го извернемся из пушки

та там чувак все равно многопоточность изучает)

Поднимаешь rabbitmq,и запускаешь столько процессов руками сколько тебе надр

о, даж на питончике можно сделать) https://docs.python.org/3/library/os.html#os.execv

системные вызовы -круто

ток запись в сокет не радует - надо следить, чтобы в буфер записалось нужное кол-во байтиков=(

Ладно, если серьёзно, раскури доку по multiprocessing

Не раз пригодится

не переживай, там почти никто почти ничего не понимает

Вроде в кормене читал что только пару человек разбираются в этом :)

#!/usr/bin/python import os from subprocess import Popen from multiprocessing.dummy import Pool as ThreadPool dir = %DIR% expl = [".DS_Store", ".", ".."] files = os.listdir(dir) clicks = [] def parse(fn): Popen("php byone.php " + fn, shell=True) Popen("php unpack.php", shell=True) for file in files: if (os.path.isfile(os.path.join(dir, file))): if file not in expl: clicks.append(file) pool = ThreadPool(100) results = map(parse, clicks)

вроде заработало

выполняется шустро

Мож concurrency? Go очень заманчив из-за каналов

#!/usr/bin/python import os from subprocess import Popen from multiprocessing.dummy import Pool as ThreadPool dir = %DIR% expl = [".DS_Store", ".", ".."] files = os.listdir(dir) clicks = [] def parse(fn): Popen("php byone.php " + fn, shell=True) Popen("php unpack.php", shell=True) for file in files: if (os.path.isfile(os.path.join(dir, file))): if file not in expl: clicks.append(file) pool = ThreadPool(100) results = map(parse, clicks)

Можно было забацать с фильтрами, не оч красиво.. Хотя работает 1не трогай :D

а подробнее? )

Или хотя бы clicks =set()

Чтобы избавиться от ифа

я в if избавляюсь от системных файлов

на подобие .DS_Store

#!/usr/bin/python import os from subprocess import Popen from multiprocessing.dummy import Pool as ThreadPool dir = %DIR% expl = [".DS_Store", ".", ".."] files = os.listdir(dir) clicks = [] def parse(fn): Popen("php byone.php " + fn, shell=True) Popen("php unpack.php", shell=True) for file in files: if (os.path.isfile(os.path.join(dir, file))): if file not in expl: clicks.append(file) pool = ThreadPool(100) results = map(parse, clicks)

а почему dummy?

а хз… на хабре прочел )

получить абсолютные пути проверитт что файл отбросить сис файлы

я в if избавляюсь от системных файлов

Сори, мой файл

Фейл

а map чей?

pool.map

Парни, посоветуйте литературу для начала ?

Только начал учить что-то

dummy вроди с потоками работае, а если нужны именно процессы то просто мультипроцессинг

Блин, в беггинерс с литературой

Значит никто не поможет?

Значит никто не поможет?

Конкретнее вопрос

Learning Python

Самое начало

Классика

)

Dive into python?

https://www.ibm.com/developerworks/ru/library/l-python_part_1/

Моих знаний с трудом хватает на калькулятор

))

ERROR: S client not available

Идёшь на stepic.org

Берёшь курсы по питону

Там и объясняют, и задачки естт

И на русском

Да меня учат чему-то

Только вот особого толку не вижу

Завтра ищешь в интернете книжку Dive into python. Похуй если ничего не поймешь. Затем идешь на python.org и изучаешь стандартную библиотеку от корки до корки. Потом зубришь, именно, сука, вызубриваешь конвенцию по написанию питоньего кода - PEP8, чтобы от зубов отскакивало. Когда напишешь свою первую имиджборду, по пути изучив верстку на html+css, скачиваешь и изучаешь любой питоний асинхронный вебсервер, рекомендую Tornado или Gevent. Как переделаешь имиджборду, чтобы выдавала по крайней мере 5 тысяч запросов в секунду, можешь идти дальше - тебя ждет увлекательный мир хайлоада. Apache Hadoop, сверхбыстрые асинхронные key-value хранилища, MapReduce. Отсос хиккующих выблядков / просто неудачников типа рейфага или сисярп/джава-хуесосов, которые сосут хуй по жизни не заставит себя ждать и уже через пол года ты будешь получать такие суммы, что любая баба будет течь при одном упоминании твоей зарплаты.

Завтра ищешь в интернете книжку Dive into python. Похуй если ничего не поймешь. Затем идешь на python.org и изучаешь стандартную библиотеку от корки до корки. Потом зубришь, именно, сука, вызубриваешь конвенцию по написанию питоньего кода - PEP8, чтобы от зубов отскакивало. Когда напишешь свою первую имиджборду, по пути изучив верстку на html+css, скачиваешь и изучаешь любой питоний асинхронный вебсервер, рекомендую Tornado или Gevent. Как переделаешь имиджборду, чтобы выдавала по крайней мере 5 тысяч запросов в секунду, можешь идти дальше - тебя ждет увлекательный мир хайлоада. Apache Hadoop, сверхбыстрые асинхронные key-value хранилища, MapReduce. Отсос хиккующих выблядков / просто неудачников типа рейфага или сисярп/джава-хуесосов, которые сосут хуй по жизни не заставит себя ждать и уже через пол года ты будешь получать такие суммы, что любая баба будет течь при одном упоминании твоей зарплаты.

годная паста, каждый раз доставляет

Завтра ищешь в интернете книжку Dive into python. Похуй если ничего не поймешь. Затем идешь на python.org и изучаешь стандартную библиотеку от корки до корки. Потом зубришь, именно, сука, вызубриваешь конвенцию по написанию питоньего кода - PEP8, чтобы от зубов отскакивало. Когда напишешь свою первую имиджборду, по пути изучив верстку на html+css, скачиваешь и изучаешь любой питоний асинхронный вебсервер, рекомендую Tornado или Gevent. Как переделаешь имиджборду, чтобы выдавала по крайней мере 5 тысяч запросов в секунду, можешь идти дальше - тебя ждет увлекательный мир хайлоада. Apache Hadoop, сверхбыстрые асинхронные key-value хранилища, MapReduce. Отсос хиккующих выблядков / просто неудачников типа рейфага или сисярп/джава-хуесосов, которые сосут хуй по жизни не заставит себя ждать и уже через пол года ты будешь получать такие суммы, что любая баба будет течь при одном упоминании твоей зарплаты.

где-то я уже читал этот манускрипт )

Мне сейчас в мозги вбиваюи логику пк

Логические элементы всякие

Оно вообще надо будет?

народ… а подскажите что почитать для многопоточного программирования

posix threads

которые будут раздербанивать файлы по заданным правилам

Тебе нужны процессы по числу ядер

поток != процесс

Смотря в какой ос.

годная паста, каждый раз доставляет

шутки шутками, а на самом деле все грамотно написано

Я небойсь для вас вообще как лох какой-то

я threading юзал и boudedsemaphore - ничего сложного

я threading юзал и boudedsemaphore - ничего сложного

GIL?

Никто не встречал нормальных туториалов/книг по coroutines?

Как найдешь Скинь и мне

я threading юзал и boudedsemaphore - ничего сложного

Я тоже спрошу про GIL

GIL?

у мну Jython был) там вроде нет этой штуки, как тут рассуждали ранее

у мну Jython был) там вроде нет этой штуки, как тут рассуждали ранее

Juthon медленный

очень нужен адекватный применр несложного, но красивого RESTful api, написаного на этом ЧУДО-фреймворке. всем плюсы в карму и звезды на гитхабе

Ищи кладрапи

Juthon медленный

у меня там выбор небольшой был) Jython или VBS. встроенный ETL

че у вас тут ?

спите шоле ?

Ребят, вопрос: каждый юзер использует сервис (Django) и от каждого возникает поток задач на запись в базу (юзаю Celery) - правильно так делать, или возникнет скоро перегрузка базы от коннектов?

Да ебанется если конектов дофига

Да ебанется если конектов дофига

а какое есть решение