Выполняешь всю елку, получаешь админку. Выполняешь сам, разумеется.

окей)

Желательно знания, для каких именно сайтов прибегают к конструкторам сайтов

Я понимаю, в данной ситуации какие кроме самого python?

html, css, js

И также пригодятся знания об устройстве существующих конструкторов сайтов

Я понимаю, в данной ситуации какие кроме самого python?

html, css, js, linux, networks, database...

Выполняешь всю елку, получаешь админку. Выполняешь сам, разумеется.

а на две звезды?)

а на две звезды?)

Разумеется

нифигасе)

путь нелегок)

Но я справлюсь:)

Но я справлюсь:)

Ты актуальную делай. =)

Очень много труда, чтобы иногда удалять порно из этого чата

Ты актуальную делай. =)

Актуальную рано:Р через 40 часов))

Очень много труда, чтобы иногда удалять порно из этого чата

Елка сама по себе интересна.

Или вип-доступ в чат админов стоит того? ;-)

То есть, когда я выучу все вот это, то я смогу сделать конструктор сайта? html, css, js, linux, networks, database, python

Елка сама по себе интересна.

мозги пару раз сломать можно)

Терпеть не могу подобное. Но елка прям зашла хорошо мне.

То есть, когда я выучу все вот это, то я смогу сделать конструктор сайта? html, css, js, linux, networks, database, python

Чувак, сделай для начала хоть что-нибудь

То есть, когда я выучу все вот это, то я смогу сделать конструктор сайта? html, css, js, linux, networks, database, python

Конструктор сайта это что-то из далекого прошлого, ты может и сделаешь, но никому это не нужно сейчас ?

Или вип-доступ в чат админов стоит того? ;-)

Ёлка отличная

все любят йолку

В общем я достиг цели :) Все работает как надо и выполняет свои функции, правда есть одно НО куда же без него :) Логи за 18 минут с двух девайсов разбираются 98 секунд.... Нужна консультация, как все это дело ускорить, хотя бы зо 30сек Мне кажется самое узкое место это with gzip.open(archive, 'rb') as file: чем можно заменить @Saluev @aragaer Приглашаю к дискуссу :)

Конструктор сайта это что-то из далекого прошлого, ты может и сделаешь, но никому это не нужно сейчас ?

а как же tilda, Wix

Даже не знаю, что это, может к лучшему

В общем я достиг цели :) Все работает как надо и выполняет свои функции, правда есть одно НО куда же без него :) Логи за 18 минут с двух девайсов разбираются 98 секунд.... Нужна консультация, как все это дело ускорить, хотя бы зо 30сек Мне кажется самое узкое место это with gzip.open(archive, 'rb') as file: чем можно заменить @Saluev @aragaer Приглашаю к дискуссу :)

Я думаю самое узкое, что следует далее

В общем я достиг цели :) Все работает как надо и выполняет свои функции, правда есть одно НО куда же без него :) Логи за 18 минут с двух девайсов разбираются 98 секунд.... Нужна консультация, как все это дело ускорить, хотя бы зо 30сек Мне кажется самое узкое место это with gzip.open(archive, 'rb') as file: чем можно заменить @Saluev @aragaer Приглашаю к дискуссу :)

покажи больше кода - раз. два - можешь попробовать распараллелить.

Ты мог бы распаралелить проверку

Вот все самое главное и все логика https://pastebin.com/iZeWCZqY

В общем я достиг цели :) Все работает как надо и выполняет свои функции, правда есть одно НО куда же без него :) Логи за 18 минут с двух девайсов разбираются 98 секунд.... Нужна консультация, как все это дело ускорить, хотя бы зо 30сек Мне кажется самое узкое место это with gzip.open(archive, 'rb') as file: чем можно заменить @Saluev @aragaer Приглашаю к дискуссу :)

Пожалуйста, хватит меня меншнить

дискусс, хе

Пожалуйста, хватит меня меншнить

но осталось чуть-чуть

но осталось чуть-чуть

но я не твой личный консультант

Я думаю самое узкое, что следует далее

мне сходу кажется, что узкое место здесь for directory, file in itertools.product(directories, range(1, files_number+1)):

мне сходу кажется, что узкое место здесь for directory, file in itertools.product(directories, range(1, files_number+1)):

Это место можно запаралелить

Но почему бы не взять и просто башем рекурсивно пройтись

Кек

мне сходу кажется, что узкое место здесь for directory, file in itertools.product(directories, range(1, files_number+1)):

как я вижу, заменить это можно только на несколько вложенных for, а я знаю это плохо

Это место можно запаралелить

@threading это не ссылка а декоратор :)

В общем я достиг цели :) Все работает как надо и выполняет свои функции, правда есть одно НО куда же без него :) Логи за 18 минут с двух девайсов разбираются 98 секунд.... Нужна консультация, как все это дело ускорить, хотя бы зо 30сек Мне кажется самое узкое место это with gzip.open(archive, 'rb') as file: чем можно заменить @Saluev @aragaer Приглашаю к дискуссу :)

А можно нескромный вопрос: какая цель у данной затеи? Конечная, имею ввиду

@threading это не ссылка а декоратор :)

?

А можно нескромный вопрос: какая цель у данной затеи? Конечная, имею ввиду

это парсинг логов

@threading это не ссылка а декоратор :)

multiprocessing.Poll concurrent.futures

это парсинг логов

Я понял, что это парсинг логов. Вопрос, зачем

?

import thread и перед def который хочешь раскидать на потоки писать @ threading Видел где-то

import thread и перед def который хочешь раскидать на потоки писать @ threading Видел где-то

мда....

рукалицо

Магическое мышление наше все

мда....

что-то вроде импортишь модуль threading def thread(my_func): def wrapper(*args, **kwargs): my_thread = threading.Thread(target=my_func, args=args, kwargs=kwargs) my_thread.start() return wrapper после этого перед функцией, которую хочешь делать в поточном режиме пишишь @thread и все

что-то вроде импортишь модуль threading def thread(my_func): def wrapper(*args, **kwargs): my_thread = threading.Thread(target=my_func, args=args, kwargs=kwargs) my_thread.start() return wrapper после этого перед функцией, которую хочешь делать в поточном режиме пишишь @thread и все

и все? серьезно?

у меня нет слов... я даже не знаю стоит ли объяснять как сильно ты не прав

это пиздец пиздец

у меня нет слов... я даже не знаю стоит ли объяснять как сильно ты не прав

стоит, так как это не я написал ) это цитата

Зочем пилить этот парсер логов?

Цель какая?

что-то вроде импортишь модуль threading def thread(my_func): def wrapper(*args, **kwargs): my_thread = threading.Thread(target=my_func, args=args, kwargs=kwargs) my_thread.start() return wrapper после этого перед функцией, которую хочешь делать в поточном режиме пишишь @thread и все

Для начала стоит разобраться с тем, что такое "в поточном режиме"

Цель какая?

логов куча, а нужной инфу пару строк, и надо эти пару строк забирать, а остальное не хранить

В общем я достиг цели :) Все работает как надо и выполняет свои функции, правда есть одно НО куда же без него :) Логи за 18 минут с двух девайсов разбираются 98 секунд.... Нужна консультация, как все это дело ускорить, хотя бы зо 30сек Мне кажется самое узкое место это with gzip.open(archive, 'rb') as file: чем можно заменить @Saluev @aragaer Приглашаю к дискуссу :)

Почему тебе так кажется? Как объем лога? В чем заключается парсинг?

логов куча, а нужной инфу пару строк, и надо эти пару строк забирать, а остальное не хранить

Ты админ?

Ты админ?

нет

find + grep...

то что ты написал это ну....

find + grep...

zgrep

да

ERROR: S client not available

find + grep...

или zgrep. Во-во

А что он там парсит?

bash + sed это круто и в саомм начале ч тоже это предожил но потом там еще операции делаются уже с вытянутыми данными

и?

Просто вся эта история с мультитрединговым парсингом архивных логов(поправьте, если я неправ), может потенциально уложить сервак к хуям, если енти самые логи будут достаточно большими

pipe же

с учетом инжинерных способностей, я бы сказал лучше воспользоваться утилитами, которые априори писали более квалифицированные инжинеры.

Просто вся эта история с мультитрединговым парсингом архивных логов(поправьте, если я неправ), может потенциально уложить сервак к хуям, если енти самые логи будут достаточно большими

размер всегда один архив 5-7мб а файл внутри 100мб

кстати, файлов в директории всегда конечное количество?

кстати, файлов в директории всегда конечное количество?

да, 10

размер всегда один архив 5-7мб а файл внутри 100мб

Кто это задает?

да что он там парсит?

может там сложнее грепа что-то

Кто это задает?

понятия не имею

да что он там парсит?

код выше был... там пара регекспов и все.

тогда почему претензия в gzip?

может там сложнее грепа что-то

не, мне кажется если запариться, то на баше все тоже можно запилить

понятия не имею

Если ты не имеешь понятия, то ротестит скорее всего логротейт. А его могут и не настроить. Или настроить так, что твой скриптец будетв мультитреде жевать гигабайтные логи.

ile.read().decode('utf8').split('=========================================================================') чебля?

вот эта часть и тормозит

ну во-первых gzip можно бы распараллелить. во-вторых читать весь файл в память плохая идея

ile.read().decode('utf8').split('=========================================================================') чебля?

лог на блоги делится ===== Так я на блоки делю

да и gzip сразу умеет в encoding

вот

лог на блоги делится ===== Так я на блоки делю

а толку то? ты же его сначала в память вычитываешь?

полностью

а толку то? ты же его сначала в память вычитываешь?

ну да, файл 100мб

лог на блоги делится ===== Так я на блоки делю

то есть не строки, а блоки с кучей ===?

И, чесно, я не знаю утилиты, кейса, чтобы так читать логи. Это какой-то абсурд.

то есть не строки, а блоки с кучей ===?

не, в файле например 5кк строк, и блоки с инфо разделены =====

каждая запись в лог занмиает больше 1 строки?

И, чесно, я не знаю утилиты, кейса, чтобы так читать логи. Это какой-то абсурд.

я бы спросил зачем так писать