Пул внутри джанги? Зачем?

не не, не вниматильно читал. Здесть не про джангу

Пул внутри джанги? Зачем?

Какой джанги?

Задача такова. Нужно мультипроцессорно писать в файл

то-есть чтоб тридцать тредов строились в очередь и писали в файл

Задача такова. Нужно мультипроцессорно писать в файл

Ошибка в слове, Зарт тебя сожрет

лучше бы по делу...

то-есть чтоб тридцать тредов строились в очередь и писали в файл

Ну я же тебе написал как. Только реализовать осталось. Ты уже умеешь лочить ресурс (файл).

Ну я же тебе написал как. Только реализовать осталось. Ты уже умеешь лочить ресурс (файл).

нифига я не умею. Не могу в инете нормальный пример найти

Задача такова. Нужно мультипроцессорно писать в файл

Как насчет писать каждому в свой файл, а потом объединить?

Ну я же тебе написал как. Только реализовать осталось. Ты уже умеешь лочить ресурс (файл).

И ты сам сказал что под вендой будут траблы

И ты сам сказал что под вендой будут траблы

Да нет разницы в твоей задаче. И не писал я такого

Как насчет писать каждому в свой файл, а потом объединить?

На лету генерить имена файлов? Как нагенерить чтоб не повторялись?

хотя, я в курсе как

На лету генерить имена файлов? Как нагенерить чтоб не повторялись?

На основе пида

26000 файлов в одной папке это нормально?

def parse(i=0, meta=[]): num_of_childs = line[i] num_of_meta = line[i + 1] for child_num in range(num_of_childs): i, meta = parse(i + 2) meta += line[i+2:i+2 + num_of_meta] i += num_of_meta return i, meta Почему этот код работает и считает сумму меты у всех детей? По идее, ссылка на мету в цикле должна перезаписываться, но этого не происходит и она передаётся дальше в глубь

нифига я не умею. Не могу в инете нормальный пример найти

Первая ссылка http://edmundmartin.com/multi-threaded-crawler-in-python/

У тебя 26000 процессов?

У тебя 26000 процессов?

У меня 26000 ссылок куда надо сходить

У меня 26000 ссылок куда надо сходить

А зачем для каждой отдельный файл?

да, я уже понял что тупонул

файлы будут по количеству тредов

Первая ссылка http://edmundmartin.com/multi-threaded-crawler-in-python/

ща поковыряю, но чет сложное какое-то оно

ща поковыряю, но чет сложное какое-то оно

Не сложноватое. Ты думать не хочешь

дело в том что я вообще классов боюсь

и не всегда понимаю

и записи в файл я чет не вижу в скрипте

Меня тут ждали?

?

def parse(i=0, meta=[]): num_of_childs = line[i] num_of_meta = line[i + 1] for child_num in range(num_of_childs): i, meta = parse(i + 2) meta += line[i+2:i+2 + num_of_meta] i += num_of_meta return i, meta Почему этот код работает и считает сумму меты у всех детей? По идее, ссылка на мету в цикле должна перезаписываться, но этого не происходит и она передаётся дальше в глубь

где она должна перезаписываться?

она изнутри перезаписывается и переходит наружу

def parse(i=0, meta=[]): num_of_childs = line[i] num_of_meta = line[i + 1] for child_num in range(num_of_childs): i, meta = parse(i + 2) meta += line[i+2:i+2 + num_of_meta] i += num_of_meta return i, meta Почему этот код работает и считает сумму меты у всех детей? По идее, ссылка на мету в цикле должна перезаписываться, но этого не происходит и она передаётся дальше в глубь

Дефолт кварг лист зло

сегодня задание попроще чем вчера как по мне... вчера подня сидел разбирался пока понял какой алгоритм надо использовать

Оно же вызывается без аргумента meta, и если не указал, что мету передаю, оно должно создавать новый список, как дефолт аргумент, или это не так работает?

блин а я не знал, что листы можно складывать) думал только екстендом можно)

Оно же вызывается без аргумента meta, и если не указал, что мету передаю, оно должно создавать новый список, как дефолт аргумент, или это не так работает?

там создается своя внутренняя мета = []

и внешняя потом перезаписывается на результат

какой-то странный результат выходит, это точно правильное решение?

На 1, да

Но почему после цикла они соединяются в итоге, а не присваивается результат последнего вызова

у меня другой ответ))

может я не то в лайн передаю

Как вот в этом узнать имя процесса??? with Pool(pools_amount) as p: p.map(get_contacts, go_to_links()) тоесть в функции get_contacts я хочу знать имя процесса

Лайн - список интов исходных

а должно быть 138, если 1 часть

Нужна сумма последнего

тогда, это второе, а там правильный 66)

Спойлер к елке 8 день! вот мой говнокод к этому, но все работает def second(): def get_data(all_numbers): q_child_nodes, q_metadata = all_numbers.pop(0), all_numbers.pop(0) children = defaultdict(int) meta = [] value = 0 for child_node in range(q_child_nodes): all_numbers, child_value = get_data(all_numbers) children[child_node+1] = child_value for times in range(q_metadata): meta.append(all_numbers.pop(0)) for child in meta: if children: value += children[child] else: value += child return all_numbers, value print(get_data(numbers)) лол, каунер убрал, не нужен он тут

норм задачко сегодня

Сейчас вторую пишу, а мы индекс ребёнка считаем от корня всего дерева или от локального родителя?

По примеру не очень понятно

Сейчас вторую пишу, а мы индекс ребёнка считаем от корня всего дерева или от локального родителя?

от локального

Окей, спасиб

Что-то какая-то лёгкая сегодня задача. Вчера я например думал куда дольше. Или может расслабленно себя ощущаю в субботу. ?

Что-то какая-то лёгкая сегодня задача. Вчера я например думал куда дольше. Или может расслабленно себя ощущаю в субботу. ?

у меня те же ощущения

но все равно доволен, что полдня не убито))

Такая классическая задача на рекурсию. Её можно студентам или школьникам давать, чтобы поняли рекурсию.

вот так вот если без ensure

Что-то какая-то лёгкая сегодня задача. Вчера я например думал куда дольше. Или может расслабленно себя ощущаю в субботу. ?

Ну как лёгкая, я 40 минут провозился на обе части, пока нашел где у меня рекурсия криво работает. Оказалось аргументы местами перепутал при вызове

Сейчас вторую пишу, а мы индекс ребёнка считаем от корня всего дерева или от локального родителя?

Локально с 1

я больше всего времени потратил на то, как в списке по индексу обращаться, потом взял вектор 8)

Такая классическая задача на рекурсию. Её можно студентам или школьникам давать, чтобы поняли рекурсию.

не, классическая задача на рекурсию это факториал или фибоначчи

Обход дерева - классика

ERROR: S client not available

А факториал через рекурсию - странно все же

Его даже определение итеративно даётся

факториал как пример что можно и итеративно, и рекурсивно

С ним сложно понять "а зачем это"

ну может быть

если не рассказывать что-то типа

9!=9*8!=9*8*7! и т.д.

Не сложноватое. Ты думать не хочешь

В общем я нашел решение. В нем воркеры выстраиваются для записи в файл. with open(ff, 'a') as file: with Pool(processes=3) as pool: for result in pool.imap_unordered(get_contacts, go_to_links()): file.write(str(result))

такая фигня

В общем я нашел решение. В нем воркеры выстраиваются для записи в файл. with open(ff, 'a') as file: with Pool(processes=3) as pool: for result in pool.imap_unordered(get_contacts, go_to_links()): file.write(str(result))

Эмм. А что, ты так что-то экономить?

В общем я нашел решение. В нем воркеры выстраиваются для записи в файл. with open(ff, 'a') as file: with Pool(processes=3) as pool: for result in pool.imap_unordered(get_contacts, go_to_links()): file.write(str(result))

А если кто-то запишет пока другой читает?

я с него не читаю, только пишу в него

и запись в файл десятки раз выше чем поход на сайт

Эм

скажем так, воркеров у меня будет 30ть штук, Один поход на сайт не меньше секунды. Уверен на сто процентов что запись в файл производится быстрее чем 30 строк в секунду

Может лучше в разные файлы тогда записать?

А потом объединить

смысл?

И не париться с синхронизацией

Ну я думал ты их читаешь

А так смысл делать общий ресурс, когда все независимо

я читаю в начале программы другой файл со ссылками на страницы, он к этому не имеет никакого дела

а это получится исходный файл который я потом в итоге переформатирую уже в любой удобоваримый формат

Ну и пиши отдельные файлы, потом переформатируешь

Чё париться

Как в питоне найти максимальную разность между двумя рядомстоящими элементами списка? (Красиво, гарантируется что элементов >=2) Вот мой некросивый вариант: it = iter(arr) next(arr) print(max(map(lambda a, b: abs(a-b), arr, it)))

Ну и пиши отдельные файлы, потом переформатируешь

Блин, чем плох этот вариант?

Как в питоне найти максимальную разность между двумя рядомстоящими элементами списка? (Красиво, гарантируется что элементов >=2) Вот мой некросивый вариант: it = iter(arr) next(arr) print(max(map(lambda a, b: abs(a-b), arr, it)))

найти разницу между минимумом и максимумом?

найти разницу между минимумом и максимумом?

между двумя рядомстоящими элементами, максимальную

Как в питоне найти максимальную разность между двумя рядомстоящими элементами списка? (Красиво, гарантируется что элементов >=2) Вот мой некросивый вариант: it = iter(arr) next(arr) print(max(map(lambda a, b: abs(a-b), arr, it)))

max(map(lambda x: abs(op.sub(*x)), zip(a[:-1], a[1:]))

между двумя рядомстоящими элементами, максимальную

max(map(lambda a: a[0]-a[1], zip(x[:-1], x[1:])))

max(map(lambda a: a[0]-a[1], zip(x[:-1], x[1:])))

абс проебал