Они предлогают через браузер.

Он-лайн офис что ли оно у них называется

ну он и в браузере и приложения для win/mac

Привет. У меня есть очередь заданий, как лучше организовать многопоточность? У меня сейчас при запуске скрипта запускаются процессы и у них общая очередь из которой они берут задание. Я подумал может лучше сделать менеджер который бы сам брал из очереди задание и запускал процесс?

Привет. У меня есть очередь заданий, как лучше организовать многопоточность? У меня сейчас при запуске скрипта запускаются процессы и у них общая очередь из которой они берут задание. Я подумал может лучше сделать менеджер который бы сам брал из очереди задание и запускал процесс?

для начала определиться - multithreading у тебя или multiprocessing

multiprocessing

https://docs.python.org/3/library/concurrent.futures.html я бы смотрел уже на готовое

ну он и в браузере и приложения для win/mac

Чувак, у тебя моя бывшая аватарка, с которой я был душа в душу несколько лет. И я, блядь, ревную^^

Чувак, у тебя моя бывшая аватарка, с которой я был душа в душу несколько лет. И я, блядь, ревную^^

ей уже овер дохуя лет, у меня еще на близардовском форуме стояла, со веремен давних когда я играл в вов

:)

Привет. У меня есть очередь заданий, как лучше организовать многопоточность? У меня сейчас при запуске скрипта запускаются процессы и у них общая очередь из которой они берут задание. Я подумал может лучше сделать менеджер который бы сам брал из очереди задание и запускал процесс?

уже все придумано

map называется

топ 1000 тасков в map

что?

У меня 10к тасков ты из предлагаешь в map однопоточный запихать

их*

мультипроцессорный

там просто пул воркеров будет

и куеуе

очередь с тасками твоими

Не совсем точно. В России, большое количество франшиз однодневок (их смысл, франчайзеру кинуть своего франчайзи, а франчайзи, кинуть франчайзера). Если цена на франшизу меньше 300 тысяч, стоит задуматься об этой франшизе. И свой стартап не всегда есть плохо :)

доказано, что лучше брать франшизу, чем стартапить. В течении 5 лет 85% стартапов закрываются. франшит 15 или 20% , не помню

https://docs.python.org/2/library/multiprocessing.html#using-a-pool-of-workers

Ребята всем привет! Написал небольшой парсер для Авито, но при записи в csv файл выходит ошибка UnicodeEncodeError: 'ascii' codec can't encode character ... пробывал использовать decode('UTF-8')... результата ноль. Подскажите пожет кто сталкивался с такой проблеммой

Ребята всем привет! Написал небольшой парсер для Авито, но при записи в csv файл выходит ошибка UnicodeEncodeError: 'ascii' codec can't encode character ... пробывал использовать decode('UTF-8')... результата ноль. Подскажите пожет кто сталкивался с такой проблеммой

Ты на втором питоне?

нет на 3ем

Я понял что он Русский язык не понимает но почему не понимает не понимаю

плюс еще когда записываю в файл все буквы перечислены через запятую

https://docs.python.org/2/library/multiprocessing.html#using-a-pool-of-workers

Я пробовал его, но он не очень подошел

Ну по описанию к задаче неплохо подходит )

Я использую очередь, а под мап ее переделывать нужно, можно будет попробовать )

Оцените плз, скажите что не так from concurrent import futures import time def payload(): print 1 time.sleep(1) def create_task(future): #print future.exception_info(), future.done() _create(future.executor) def _create(executor): future_to_url = executor.submit(payload) future_to_url.add_done_callback(create_task) future_to_url.executor = executor def main(): workers = 5 executor = futures.ProcessPoolExecutor(max_workers=workers) for _ in range(workers): _create(executor) if __name__ == "__main__": main()

Ребята всем привет! Написал небольшой парсер для Авито, но при записи в csv файл выходит ошибка UnicodeEncodeError: 'ascii' codec can't encode character ... пробывал использовать decode('UTF-8')... результата ноль. Подскажите пожет кто сталкивался с такой проблеммой

Поставь кодировку на кириллицу

чат, а что почитать по проектированию бд? именно чтобы понимать, когда лучше делать несколько рел таблиц

с постгресом я стартово разобрался, теперь архитектурные вопросы стоят

Ребята всем привет! Написал небольшой парсер для Авито, но при записи в csv файл выходит ошибка UnicodeEncodeError: 'ascii' codec can't encode character ... пробывал использовать decode('UTF-8')... результата ноль. Подскажите пожет кто сталкивался с такой проблеммой

Кинь код парсеков в личку

чат, а что почитать по проектированию бд? именно чтобы понимать, когда лучше делать несколько рел таблиц

А хз

Это приходит граблями

Не, ну можно по блогам пошариться

Но я не уверен что это исчерпывающие и можно постоянно перечитать и переварить

Это приходит граблями

ну я пока нашел или методички с кафедр местных технических вузов, или книжки которым 15+ лет и с кучей переизданий

в первом случае хз насколько качественная инфа, во втором - насколько актуальна

все опытные знакомые кого спрашивал говорят что осваивали эту ебанину очень давно и уже не помнят по чему учились

Ни то, ни другое не пригодно, имхо

Лучше уж по блогам походить и почитать: с чем сталкивались и как решали

Ну и практика

ну у меня запрос несложный

по сути бд поисковика по новинкам кино. Там из данных юзер_ид, запрос его, дата и статус найден-нет

я хотел все одной таблицей ебануть, но мне дали по рукам и сказали что лучше поучись и раскинь на две таблицы. И продумай случаи с опечатками и хуевыми названиями фильма в запросах

Например, чтоб в итоге чтоб запроcы Star Wars, Звездные войны и Стар варс были условно под одним айдишником в другой таблице

но тогда совершенно неясен вопрос сортировки и как распознавать одинаковые сущности

Используй одно поле для названия

В моделях локализацию

И файл локализации

В моделях локализацию

это как?

Угеттекстлейзи вродь

Прогугли

Джанго локализация

И файлы .мо

погуглю, спс

погуглю, спс

https://docs.djangoproject.com/en/1.10/topics/i18n/translation/

Я прост хз что ты там делаешь и какой должен быть конечный результ

Всем привет! Кто знаком с CMS Эгея и может помочь с ее установкой? Я знаю что это очень просто, но сообразить не могу. Напишите пожалуйста в личку. Спасибо :)

Всем привет! Кто знаком с CMS Эгея и может помочь с ее установкой? Я знаю что это очень просто, но сообразить не могу. Напишите пожалуйста в личку. Спасибо :)

Она разве на питоне?

Как обернуть функцию в декоратор которую передают в multiprocessing.Pool?

Если есть возможность - написать строчкой выше объявления функции @decorator

Если нет, то просто decorator(my_func)

Ну только еще бывают фабрики декораторов

Это которые @decarator()

Да это понятно, только так ошибка получается PicklingError

В таком случае - decorator()(my_func)

вот есть массив у меня. он может быть пустой, а может быть заполнен (неважно сколько элементов). как написать лучше конструкцию в ф-ии, которая будет возвращать 1 когда не пустой, а 0 когда пустой массив?

Ты явно что-то не так делаешь)

def has_digits(password): return 1 if re.findall(r'\d', password) else 0

Да это понятно, только так ошибка получается PicklingError

Кусок кода + полный экзепшн

так не нравится чот

Кусок кода + полный экзепшн

def ex_hook(fn): def wrapped(): try: fn() except Exception as E: print E return wrapped @ex_hook def worker_main(queue): print os.getpid(),"working" while True: item = queue.get(True) print os.getpid(), "got", item 1/item time.sleep(1) # simulate a "long" operationTraceback (most recent call last): File "C:\Users\Null\Desktop\mm.py", line 62, in <module> main() File "C:\Users\Null\Desktop\mm.py", line 55, in main the_pool = multiprocessing.Pool(3, ex_hook(worker_main),(the_queue,)) File "C:\Python27\lib\multiprocessing\__init__.py", line 232, in Pool return Pool(processes, initializer, initargs, maxtasksperchild) File "C:\Python27\lib\multiprocessing\pool.py", line 159, in __init__ self._repopulate_pool() File "C:\Python27\lib\multiprocessing\pool.py", line 223, in _repopulate_pool w.start() File "C:\Python27\lib\multiprocessing\process.py", line 130, in start self._popen = Popen(self) File "C:\Python27\lib\multiprocessing\forking.py", line 277, in __init__ dump(process_obj, to_child, HIGHEST_PROTOCOL) File "C:\Python27\lib\multiprocessing\forking.py", line 199, in dump ForkingPickler(file, protocol).dump(obj) File "C:\Python27\lib\pickle.py", line 224, in dump self.save(obj) File "C:\Python27\lib\pickle.py", line 331, in save self.save_reduce(obj=obj, *rv) File "C:\Python27\lib\pickle.py", line 425, in save_reduce save(state) File "C:\Python27\lib\pickle.py", line 286, in save f(self, obj) # Call unbound method with explicit self File "C:\Python27\lib\pickle.py", line 655, in save_dict self._batch_setitems(obj.iteritems()) File "C:\Python27\lib\pickle.py", line 687, in _batch_setitems save(v) File "C:\Python27\lib\pickle.py", line 286, in save f(self, obj) # Call unbound method with explicit self File "C:\Python27\lib\pickle.py", line 568, in save_tuple save(element) File "C:\Python27\lib\pickle.py", line 286, in save f(self, obj) # Call unbound method with explicit self File "C:\Python27\lib\pickle.py", line 754, in save_global (obj, module, name)) pickle.PicklingError: Can't pickle <function wrapped at 0x02332170>: it's not fo und as __main__.wrapped C:\Users\Null>Traceback (most recent call last): File "<string>", line 1, in <module> File "C:\Python27\lib\multiprocessing\forking.py", line 381, in main self = load(from_parent) File "C:\Python27\lib\pickle.py", line 1384, in load return Unpickler(file).load() File "C:\Python27\lib\pickle.py", line 864, in load dispatch[key](self) File "C:\Python27\lib\pickle.py", line 886, in load_eof raise EOFError EOFError

вот есть массив у меня. он может быть пустой, а может быть заполнен (неважно сколько элементов). как написать лучше конструкцию в ф-ии, которая будет возвращать 1 когда не пустой, а 0 когда пустой массив?

По длине массива, чего париться

По длине массива, чего париться

ну не

def has_digits(password): return 1 if re.findall(r'\d', password) else 0

А так ты ток цифры ищешь

я знаю

has_digits как бы намекает

не? :)

вот есть массив у меня. он может быть пустой, а может быть заполнен (неважно сколько элементов). как написать лучше конструкцию в ф-ии, которая будет возвращать 1 когда не пустой, а 0 когда пустой массив?

ну по этому не скажешь

https://paste.fedoraproject.org/522610/83886516/

ну не

Почему, лёгкий способ же

вот целиком

Почему, лёгкий способ же

return len(re.findall()) > 0 ?

def hasNumbers(inputString): return any(char.isdigit() for char in inputString)

def is_empty(list): If len(list) > 0: return 1 else: return 0

Всё

re.findall(r'[A-Z]', password) and re.findall(r'[a-z]', password)можно в одно правило же объединить

def is_empty(l): return not l

А так ты ток цифры ищешь

я знаю

has_digits как бы намекает