а корневой логгер на DEBUG ?

Да

ну, не видя код остается только ванговать... ибо должно работать

Всем привет, такой вопрос: есть список с такими данными ['10-01-2018,16:34:52,937,0\r', '10-01-2018,16:35:22,947,0\r', '10-01-2018,16:35:52,909,0\r', '10-01-2018,16:36:22,977,0\r', '10-01-2018,16:36:52,901,0\r', '10-01-2018,16:37:22,947,0\r', '10-01-2018,16:37:52,862,0\r', '10-01-2018,16:38:22,886,0\r', '10-01-2018,16:38:52,972,0\r', '10-01-2018,16:39:22,937,0\r'] Как мне разложить эти данные в три разных списка date[] - где будет 10-01-2018 time[] - где будет 16:34:52 value[] - и значение 937

FORMAT = '[%(asctime)-15s] [%(levelname)-8s] %(message)s' logging.basicConfig(format=FORMAT, level=logging.DEBUG) logger = logging.getLogger('Test') fh = logging.FileHandler('test.log') fh.setLevel(logging.DEBUG) ch = logging.StreamHandler() ch.setLevel(logging.WARNING) formatter = logging.Formatter(FORMAT) fh.setFormatter(formatter) ch.setFormatter(formatter) logger.addHandler(ch) logger.addHandler(fh) logger.debug('Successfully parsed cmd params')

Всем привет, такой вопрос: есть список с такими данными ['10-01-2018,16:34:52,937,0\r', '10-01-2018,16:35:22,947,0\r', '10-01-2018,16:35:52,909,0\r', '10-01-2018,16:36:22,977,0\r', '10-01-2018,16:36:52,901,0\r', '10-01-2018,16:37:22,947,0\r', '10-01-2018,16:37:52,862,0\r', '10-01-2018,16:38:22,886,0\r', '10-01-2018,16:38:52,972,0\r', '10-01-2018,16:39:22,937,0\r'] Как мне разложить эти данные в три разных списка date[] - где будет 10-01-2018 time[] - где будет 16:34:52 value[] - и значение 937

то что ,0\r мне не нужно вообще

Всем привет, такой вопрос: есть список с такими данными ['10-01-2018,16:34:52,937,0\r', '10-01-2018,16:35:22,947,0\r', '10-01-2018,16:35:52,909,0\r', '10-01-2018,16:36:22,977,0\r', '10-01-2018,16:36:52,901,0\r', '10-01-2018,16:37:22,947,0\r', '10-01-2018,16:37:52,862,0\r', '10-01-2018,16:38:22,886,0\r', '10-01-2018,16:38:52,972,0\r', '10-01-2018,16:39:22,937,0\r'] Как мне разложить эти данные в три разных списка date[] - где будет 10-01-2018 time[] - где будет 16:34:52 value[] - и значение 937

Цикл + split по запятой

Цикл + split по запятой

пробовал, не получается

ну, не видя код остается только ванговать... ибо должно работать

Закинул код выше. Работать-то оно работает, но пишет или никуда или везде

пробовал, не получается

Что не получается?

Что не получается?

Сейчас покажу, минуту for item in sr_list: item.split(',') temp_list.append(item) И получается тупо копирование листа

FORMAT = '[%(asctime)-15s] [%(levelname)-8s] %(message)s' logging.basicConfig(format=FORMAT, level=logging.DEBUG) logger = logging.getLogger('Test') fh = logging.FileHandler('test.log') fh.setLevel(logging.DEBUG) ch = logging.StreamHandler() ch.setLevel(logging.WARNING) formatter = logging.Formatter(FORMAT) fh.setFormatter(formatter) ch.setFormatter(formatter) logger.addHandler(ch) logger.addHandler(fh) logger.debug('Successfully parsed cmd params')

в конце, после добавления хэндлеров должно быть logger.setLevel(logging.DEBUG)

в конце, после добавления хэндлеров должно быть logger.setLevel(logging.DEBUG)

Сделал. Все еще пишет в консоль :|

Сейчас покажу, минуту for item in sr_list: item.split(',') temp_list.append(item) И получается тупо копирование листа

Во-первых почитай как работает split и что возвращает. Во-вторых тебе нужно 3 списка а не один. В-третьих @ru_python_beginners

Сейчас покажу, минуту for item in sr_list: item.split(',') temp_list.append(item) И получается тупо копирование листа

Потому что результат сплита уходит вникуда, нужно присвоить его куда-то

Error [WinError 87] The parameter is incorrect while executing command python setup.py egg_info Could not install packages due to an EnvironmentError: [WinError 87] The parameter is incorrect на винде чем может быть вызвана ошибка?

pip install flask

python 3.7

class Section(Base): __tablename__ = "sections" id = Column(Integer, primary_key=True) name = Column(Text) parent_id = Column(Integer, ForeignKey("sections.id")) url = Column(Text) is_end = Column(Boolean) img_url = Column(Text) path = Column(Text) children = relationship("Section") parent = relationship("Section", back_populates=".") Люди, что место точки писать надо?

FORMAT = '[%(asctime)-15s] [%(levelname)-8s] %(message)s' logging.basicConfig(format=FORMAT, level=logging.DEBUG) logger = logging.getLogger('Test') fh = logging.FileHandler('test.log') fh.setLevel(logging.DEBUG) ch = logging.StreamHandler() ch.setLevel(logging.WARNING) formatter = logging.Formatter(FORMAT) fh.setFormatter(formatter) ch.setFormatter(formatter) logger.addHandler(ch) logger.addHandler(fh) logger.debug('Successfully parsed cmd params')

logging.basicConfig(format=FORMAT, level=logging.DEBUG) эту строку убери

logging.basicConfig(format=FORMAT, level=logging.DEBUG) эту строку убери

Что вместо нее?

Что вместо нее?

ничего

А, понял

А, это местный душевнобольной. Не обращай внимания

ничего

Спасибо, работает

Что вместо нее?

точнее logger.setLevel(logging.DEBUG) вместо нее

А, это местный душевнобольной. Не обращай внимания

Это Вы мне?

Это Вы мне?

Тсс, он разговаривает сам с собой

Есть две таблицы, нужно сравнить каждую строку первой таблицы с каждой строкой второй таблицы, есть что-то быстрее, чем вложенный цикл?

Нет.

Если тебе надо перебрать всевозможные пары строк и никакой дополнительной информации нет, быстрее нельзя.

Во-первых почитай как работает split и что возвращает. Во-вторых тебе нужно 3 списка а не один. В-третьих @ru_python_beginners

Спасибо за совет, Разобрался Вот как решил for item in regstr: date.append(item.split(',')[0]) timing.append(item.split(',')[1]) tps.append(item.split(',')[2]) regstr - это тот лист, что я кидал

Если тебе надо перебрать всевозможные пары строк и никакой дополнительной информации нет, быстрее нельзя.

Печаль, но спасибо!

Можно попробовать pandas. Стакнуть таблицы и использовать метод duplicates для поиска общих строк

Можно попробовать pandas. Стакнуть таблицы и использовать метод duplicates для поиска общих строк

И как ты стакнешь каждую строку с каждой?

Спасибо за совет, Разобрался Вот как решил for item in regstr: date.append(item.split(',')[0]) timing.append(item.split(',')[1]) tps.append(item.split(',')[2]) regstr - это тот лист, что я кидал

date, timing, tps = zip(*(item.split(',') for item in regstr))

Если тебе надо перебрать всевозможные пары строк и никакой дополнительной информации нет, быстрее нельзя.

а если таблица - описание БД и нужно смерджить например обновленные данные?

Печаль, но спасибо!

может упростить дело itertools.combinations()

может упростить дело itertools.combinations()

Хотел сказать «усложнить»? )

date, timing, tps = zip(*(item.split(',') for item in regstr))

модно, коасивл - спасибо :)

а если таблица - описание БД и нужно смерджить например обновленные данные?

Тогда джоин

И как ты стакнешь каждую строку с каждой?

Таблицы стакаешь, а не строки. И потом в рамках одной таблицы ищешь одинаковые строки

Хотел сказать «усложнить»? )

Если надо каждую с каждой сравнить то так выйдет код чище. а по скорости точно так же

Есть две таблицы, нужно сравнить каждую строку первой таблицы с каждой строкой второй таблицы, есть что-то быстрее, чем вложенный цикл?

Стоп, тебе просто на равенство надо сравнить?

Стоп, тебе просто на равенство надо сравнить?

Да

Да

Пффф, фигачь хештейблы тогда

Сформулируй задачу, короче. Сравнить на равенство иии… что?

Да

А чего в таблицах. это если это можно в хеш превратить то тигран прав

А чего в таблицах. это если это можно в хеш превратить то тигран прав

Строки строк)

date, timing, tps = zip(*(item.split(',') for item in regstr))

только что-то не работает :) ValueError: too many values to unpack (expected 3)

поиск по хештаблице работает за O(n) вроде

Можно попробовать pandas. Стакнуть таблицы и использовать метод duplicates для поиска общих строк

у меня аналогичная задача на пандасе не завелась, упорно говорил что разные датафреймы хотя отгружал по мурзилке через panda.read_sql_query

у меня аналогичная задача на пандасе не завелась, упорно говорил что разные датафреймы хотя отгружал по мурзилке через panda.read_sql_query

Индексы и размерности должны быть соответствующие

только что-то не работает :) ValueError: too many values to unpack (expected 3)

А, у тебя где-то много запятых. Тогда надо date, timing, tps = zip(*(item.split(',')[:3] for item in regstr))

поиск по хештаблице работает за O(n) вроде

Один поиск — за О(1)

А, у тебя где-то много запятых. Тогда надо date, timing, tps = zip(*(item.split(',')[:3] for item in regstr))

да, вот так зашло :)

не считая вычисления хэша

Индексы и размерности должны быть соответствующие

значит это не мой способ, у меня будут разные, и нужно идентичные данные оставить без изменений а новые добавить из левой в правую, при этом на выходе нужен хтмл где пометить цветом изменения

Строки строк)

Состакай так чтобы row таблицы был строкой. и сделай из этой таблицы хэш. а потом проверяй на вхождение

да, вот так зашло :)

Ещё вариант — date, timing, tps = zip(*(item.split(',', 2) for item in regstr)) Тогда всё после второй запятой сохранится (там, где их больше двух).

Строки строк)

Списки строк, ты хотел сказать?

Скажи уже, что на выходе должно получиться

надо найти, существуют ли совпадения?

Ещё вариант — date, timing, tps = zip(*(item.split(',', 2) for item in regstr)) Тогда всё после второй запятой сохранится (там, где их больше двух).

ядрено смотрится, я еще не совсем понял предыдущий вариант Вроде как ясно, но не совсем что zip делает знаю, только я его обычно юзаю в обраном порядке, что-то вроде for i,j,k in zip(list, list, list)

ядрено смотрится, я еще не совсем понял предыдущий вариант Вроде как ясно, но не совсем что zip делает знаю, только я его обычно юзаю в обраном порядке, что-то вроде for i,j,k in zip(list, list, list)

zip(*blah) транспонирует твой двумерный массив blah.

Сформулируй задачу, короче. Сравнить на равенство иии… что?

У меня работает пороговая функция, в зависимости от того, сколько полей и какие поля совпали в двух строках(tuple), каждой паре присваивается балл, если по итогу балл вышел какого-то значения, я эту пару строк склеиваю

жёстко

а сколько полей в одной строке?

примерно. и сколько строк всего?

а сколько полей в одной строке?

30

примерно. и сколько строк всего?

это я не знаю, но где-то 1.5 млдр сравнений происходит

9 часов скрипт работает) это многовато)

это я не знаю, но где-то 1.5 млдр сравнений происходит

наборы можно через set() сравнивать если они уникальные

30

Много :/ А какие баллы у них и какой порог?

Много :/ А какие баллы у них и какой порог?

У каждого поля свой балл, ну в сумме должно 100 получиться, но это пока все эмпирически, я тестирую)

Ты можешь построить dict вида (номер поля, значение поля) -> [список номеров строк, в которых по этому номеру такое значение] одним проходом по своей базе, и тебе будет легче находить потенциально близкие строки.

Для строки (п1, …, пN) надо взять объединение номеров строк, у которых J-е поле равно пJ, и если где-то есть строка, превышающая порог, её номер точно будет в этом множестве.

Правда, это множество всё ещё может быть очень большим, если у тебя мало разных строк встречается в качестве значений полей. Ну тут уже можно экспериментировать, завести отображение (номер поля, значение поля, значение след. поля) -> […] и так далее

Для строки (п1, …, пN) надо взять объединение номеров строк, у которых J-е поле равно пJ, и если где-то есть строка, превышающая порог, её номер точно будет в этом множестве.

хм, интересно

Правда, это множество всё ещё может быть очень большим, если у тебя мало разных строк встречается в качестве значений полей. Ну тут уже можно экспериментировать, завести отображение (номер поля, значение поля, значение след. поля) -> […] и так далее

попробую ,спасибо)

Подскажите, почему когда запускаю скрипт в терминале, а потом нажимаю ctrl+c или просто закрываю терминал, то скрипт перестаетработать?

короче как его запуститьи оставить в рабочем состоянии, закрыв терминал при этом

короче как его запуститьи оставить в рабочем состоянии, закрыв терминал при этом

haha classic, cron

haha classic, cron

Без крона?

Без крона?

systemd?

systemd?

ubuntu

Подскажите, почему когда запускаю скрипт в терминале, а потом нажимаю ctrl+c или просто закрываю терминал, то скрипт перестаетработать?

Действительно. Дай-ка подумать

Нет, не буду думать

Действительно. Дай-ка подумать

Ну просто если php скрипт запускаю, то все работает до тех пор пока он сам не завершится или не кикнуть его

короче как его запуститьи оставить в рабочем состоянии, закрыв терминал при этом

есть еще экзотический вариант tmux. он оставит скрипт запущенным при отключении от терминала ))

есть еще экзотический вариант tmux. он оставит скрипт запущенным при отключении от терминала ))

и screen ещё

я тмукс юзаю, когда лень сервисы городить

Спс

Подскажите, почему когда запускаю скрипт в терминале, а потом нажимаю ctrl+c или просто закрываю терминал, то скрипт перестаетработать?

ого:D'

Подскажите, почему когда запускаю скрипт в терминале, а потом нажимаю ctrl+c или просто закрываю терминал, то скрипт перестаетработать?

nohup в помощь