ddd
ddd
Vladyslav
Через лямбда-функции
Vladyslav
ddd
Tishka17
Vladyslav
В файлах данных есть блоки текста, начинающиеся строками, условно, " begin " и завершающиеся, условно, строками " end ", от " begin " иногда надо пропустить N строк
Vladyslav
А колдовство с tee зачем?
Колдовство с tee - попытка изучить сложный тул из itertools в ситуации, когда и без него можно обойтись : )
ddd
Tishka17
Я так понял надо что-то типа
def block(file, start, end):
for line in file:
if start(line): break
for line in file:
if end(line): break
yield line
Vladyslav
Есть файл в сотни килобайт с разнотипными данными, в нём встречаются блоки строк, обрамлённых "начальной" и "конечной" строками, которые нужно немного профильтровать и распарсить. Причём иногда нужно взять только первое вхождение блока, а иногда последнее.
Vladyslav
quantum super position
зачем разделять (и вообще нужно ли это) сущности бд и бекенда?
Vladyslav
Tishka17
Можно добавить в исходный генератор проверку что блок был и исключение
Tishka17
Тогда поиск последнего будет без хранения двух блоков в памяти
Vladyslav
Пробую
Vladyslav
Классно : ) Сделал на базе ваших советов, но вот так
Vladyslav
https://pastebin.com/U7QyJTvq
Vladyslav
Работает супер! Спасибо : )
quantum super position
Tishka17
quantum super position
Vladyslav
О, раз тут зашло дело про форматные строки, можно ли как-то автоматически квотить все данные в такие строки или надо явно в них вызывать функцию квотирования?
Александр
Tishka17
Anonymous
quantum super position
зачем ты во все чаты это кидаешь
Anonymous
Тока не бейте за циклы, f, и прочее:) Помогите с bot.edit_message_text
Anonymous
quantum super position
Tishka17
Александр
понял, я подумал отдельно f-строчки выделяешь 👌
evgeniy
https://pastebin.com/U7QyJTvq
Вроде задача звучала просто, а решение получилось сложное...
Я понял задачу так:
Есть файл с текстом, текст представляет из себя набор строк заканчивающихся \n, нужно найти блоки строк между условно begin\n и end\n и вывести первый или последний. Правильно? Такие задачи часто делают на`awk`.
Вообще, похоже на типичную задачу парсинга структурированного документа, типа xml или исходного кода. Есть открывающий тэг, есть закрывающий тэг, есть содержимое между ними.
Вопросы:
1) Между begin\n и end\n могут встречаться отдельные begin\n или end\n или вообще вложенные блоки?
2) Если есть begin\n, то всегда ли есть парный ему end\n и наоборот?
Vladyslav
Вроде задача звучала просто, а решение получилось сложное...
Я понял задачу так:
Есть файл с текстом, текст представляет из себя набор строк заканчивающихся \n, нужно найти блоки строк между условно begin\n и end\n и вывести первый или последний. Правильно? Такие задачи часто делают на`awk`.
Вообще, похоже на типичную задачу парсинга структурированного документа, типа xml или исходного кода. Есть открывающий тэг, есть закрывающий тэг, есть содержимое между ними.
Вопросы:
1) Между begin\n и end\n могут встречаться отдельные begin\n или end\n или вообще вложенные блоки?
2) Если есть begin\n, то всегда ли есть парный ему end\n и наоборот?
Евгений, спасибо за интерес к моей задаче : ) Да, блоки всегда обрамлены begin и end. Я бы сделал и на awk / sed, но как-то глупо было делать это из питона, если весь остальной анализ выполяется в питоне. Решение сложное, потому что в нём остался уже ранее использовавшийся рабочий фрагмент кода (в плохочитаемом функциональном стиле). Но условия работы кода позволяют оставить так.
Vladyslav
Фрагментов тоже обычно десятки и каждый обычно не превышает десятки табличных строк, так что экономить память тоже смысла не имеет.
Vladyslav
Что-то вроде : )
evgeniy
Там сбилось всё :)
evgeniy
Что-то вроде : )
Вот такой тест:
unneeded lines
unneeded lines
begin
one two three
one two three
one two three
end
begin
four five six
four five six
four five six
end
unneeded lines
unneeded lines
unneeded lines
begin
eight nine ten
eight nine ten
end
unneeded lines
unneeded lines
Aragaer
collecting = False
for line in my_file:
if line.strip() == 'begin':
collecting = True
result = ""
continue
if line.strip() == 'end':
collecting = False
if need_first:
break
else:
result = ""
continue
if collecting:
result += line
Vladyslav
Да ну вас) Люди старались писали itertools, а вы всё в бейсик-стайл)
Vladyslav
Vladyslav
Или в третьем питоне уже динамические строки?
Denis
Они формально иммутабельные, но по факту там оптимизация есть на +=
Vladyslav
То есть, уже не убивается предыдущий объект и пересоздаётся новый?
Denis
Да, если на него никто больше не ссылается, происходит быстрое добавление в конец
Vladyslav
Как в списках что ли?
Vladyslav
Или realloc?
Aragaer
ну можно в список собирать и в конце сделать join
Vladyslav
Aragaer
тем более
Aragaer
а про itertools - я слабо себе представляю как их тут прикрутить
Vladyslav
идеально было бы без списка прямо из итератора, но у меня не хватило мозгов
Vladyslav
ну да, не дойдя до конца итератора - не узнать, что это было последнее вхождение)))
Aragaer
ну вообще формулировка "первый либо последний" накладывает определенные ограничения, ага
Vladyslav
возможно, есть прикольные решения на базе reversed
Vladyslav
но это надо как-то реверсировать итератор "на лету", а я так не умею
Vladyslav
да и, думаю, reversed на файле уже читает весь файл в память
Aragaer
reversed тоже без волшебства - он требует пройти оригинальный итератор до конца по-моему
SHADRIN
Парни что за феномен такой
Собираю программу в exe одним файлом работает а если папкой с либами не работает
Tishka17
Все что угодно
Tishka17
Но обычно наоборот
SHADRIN
Но обычно наоборот
Так вот так же думал скинул человеку а него все через ж получилось
И причём тот что 1 файлом у меня иногда ругается а у него как ласточка летает
evgeniy
Ха, у меня сейчас похожая фигня происходит - код на компе работает, в repl.it и ideone.com не хочет, хоть тресни. Чертовщина какая-то...
Tishka17
evgeniy
Заработало 😜! Оказалось в тестовом файле нехватало \n после последней строки. Причём я его добавлял вручную в repl.it - не помогало, добавил в виме и скопировал в repl - помогло.
evgeniy
@gehrmann2 Решил вашу задачу, на моём тесте работает.
https://repl.it/@Negamax/Blockparsing#main.py
evgeniy
evgeniy
А я грешил на отступы табами, которые у меня вместо пробелов...
evgeniy
На компе у меня Python 3.6, в repl Python 3.8, может из-за этого вело себя по-разному?
evgeniy
Может и не в этом было дело, сейчас по всякому работает, не могу воспроизвести ошибку. Говорю же - чертовщина 😟.
Ilya
Вопрос для знатоков Пайторча:
A[row_indices, colume_indices] += 1
где обе переменные держат набор индексов,надо сделать так, что если индексы повторяются, то и плюс 1 делался столько раз, сколько получается один и тот же индекс.