Обе некрасивые, кстати

ну почему, миленькие

Так в С есть же вроде try cath, обергуть код и принтовать LINE, FILE (директивы компилятора)

Плохо что у ТГ так плохо организованны чаты. RO нету, А то сделать по умолчанию ro и ссылку на правила + минитест на знания python. Прошел, получил rw

Плохо что у ТГ так плохо организованны чаты. RO нету, А то сделать по умолчанию ro и ссылку на правила + минитест на знания python. Прошел, получил rw

Можно реализовать

Но зачем?

Плохо что у ТГ так плохо организованны чаты. RO нету, А то сделать по умолчанию ro и ссылку на правила + минитест на знания python. Прошел, получил rw

а боты для чего?

А разве можно участнику давать ro режим?

естественно

разве не?

можно

Пару лет назад нужно было, такой функции не было. Сейчас не знаю

Так давайте организуем, и спама поменьше будет в виде "как запустить файл *py"

можно уже существующих заюзать

Так в С есть же вроде try cath, обергуть код и принтовать LINE, FILE (директивы компилятора)

о вот это пойдёт как вариант

День добрый, нужен совет, какой алгоритм использовать Задача простейшая, но огромная Что надо сделать: Есть два файла со строками и нужно пройтись по ним и создать третий файл в который записать только те строки которые есть только в одном файле, но нет во втором Вопрос не в бегинеры так как в ФАЙЛЫХ по 4-6млн строк Есть у кого-нибудь идеи?

все равно лучше попарного сравнения ничего не придумать

День добрый, нужен совет, какой алгоритм использовать Задача простейшая, но огромная Что надо сделать: Есть два файла со строками и нужно пройтись по ним и создать третий файл в который записать только те строки которые есть только в одном файле, но нет во втором Вопрос не в бегинеры так как в ФАЙЛЫХ по 4-6млн строк Есть у кого-нибудь идеи?

А сколько у тебя оперативной памяти есть? и сколько файлы весят

я бы разбил оба файла на большое количество вменяемых по размеру частей и распараллелил бы обработку

распараллелить по кускам первого файла

как с помощью flask получить данные со всех форм, но в список записать те, в которых есть данные

по второму только последовательно

я бы разбил оба файла на большое количество вменяемых по размеру частей и распараллелил бы обработку

Если уж бить то по первой букве в алфавитном порядке

А сколько у тебя оперативной памяти есть? и сколько файлы весят

Ну думаю крутнуть на компе задачу, на нем 8 озу Файлы весят 45мб и 25мб txt

все равно лучше попарного сравнения ничего не придумать

ну это решение в лоб, и долго и тяжело для железа?

Ну думаю крутнуть на компе задачу, на нем 8 озу Файлы весят 45мб и 25мб txt

дык тебе хватит без проблем. даже бить ничего не надо. Просто сортирни 2 списка. разбей на чанки по первой букве. и эти чанки уже сравнивай попарно

Если уж бить то по первой букве в алфавитном порядке

в фалах цифры

распараллелить по кускам первого файла

там куча проблем с тем, как ты разобъешь файл. Может выйти так, что одна строка в одном файле попадет в кусок №2, а во втором, например, в кусок №3

не

надо каждый с каждым все равно

в фалах цифры

только цифры. в одну колонку?

ну если нет никакой дополнительной информации

только цифры. в одну колонку?

Сейчас кину пример, сек

Если так то просто прочитай файлы в setы и примени к ним логическое или

если можно просто всосать, то банально grep -v -F -f file2 file1

Вот пример данных из фалов FILE_1 AAAAAA=111111111111; AAAAAA=111111111111; AAAAAA=111111111111; AAAAAA=111111111111; AAAAAA=111111111111; AAAAAA=111111111111; AAAAAA=111111111111; AAAAAA=111111111111; AAAAAA=111111111111; AAAAAA=111111111111; FILE_2 111111111111 111111111111 111111111111 111111111111 111111111111 111111111111 111111111111 111111111111 111111111111 111111111111

сплитани

в первом

Я думаю первой итерацией привести файл 1 в виду файла 2 Удалить таб и буквы с равно и точку с запятой

и реплесни

а затем проверяй

ну как минимум надо удалить все дубликаты

ну как минимум надо удалить все дубликаты

Set и удалит все дубликаты

а лучше frozenset т.к. он меньше оперативы жрет

Я думаю первой итерацией привести файл 1 в виду файла 2 Удалить таб и буквы с равно и точку с запятой

важно наличие строки с определенным содержанием в файле, или положение тоже имеет значение? То есть, вам файловый дифф нужен, или уникальные для обоих файлов строки?

uniq удалит дубликаты

птон не нужен короче для этой задачи

как с помощью flask получить данные со всех форм, но в список записать те, в которых есть данные

важно наличие строки с определенным содержанием в файле, или положение тоже имеет значение? То есть, вам файловый дифф нужен, или уникальные для обоих файлов строки?

положение в файле пофиг, короче мне надо удалить из большего файла_1 те строки которые есть в файле_2 можно третий и не создавать меньше дисковых операций

2 массива запилить и по ним в цикле пройтись

grep -v -F -f file2 file1

ну из второго файла делаете set, по первому идете, и ремувите строки, что есть в сете.

вот эта команда тебе все сделает

ну .. почти. можно добавить ключик -w на всякий случай

grep -v -F -f file2 file1

а выход куда сложит или из первого удалит то что есть во втором?

в кмд

вродб

в stdout вывалит. Но ты можешь перенаправить куда хочешь

в stdout вывалит. Но ты можешь перенаправить куда хочешь

ок, а ничего к одному виду приводить не надо? можно файлы в таком виде и кидать?

а выход куда сложит или из первого удалит то что есть во втором?

> file3

> file3

да понял, что stdout перенаправить

если каждая строчка второго файла является корректным шаблоном для выкидывания строки из первого, то больше ничего не надо

если например в первом файле есть aaa = 1150 bbb = 2150 а во втором есть строчка 150, то надо сделать -w, иначе удалит обе предыдущие

ERROR: S client not available

FILE_1 AAAAAA=111111111111; AAAAAA=111111111112; AAAAAA=111111111113; FILE_2 111111111111 111111111114 111111111114 Т.е. мне надо из file1 удалить AAAAAA=111111111111; так как в file2 есть такая строка И я это смогу сделать так grep -v -F -f -w file2 file1 > file3 Верно? @aragaer

Доброго времени суток Подскажите пожалуйста уже всю голову себе сломал. Есть файл текстовый с логами (8гб примерно). Нужно его отпарсить и выбрать определенные строки. И я написал такой код: f_contents - сюда прочитали сам файл. substr - строка - ключевик которую ищем в файле lines = [] for line in f_contents.strip().split('\n'): If substr in line lines.append(line) Так вот при запуске на начале цикла вылетает с ошибкой памяти (как я понял просто в цикле весь файл читается в список). Как переписать код чтобы исправить эту хрень? Спасибо

FILE_1 AAAAAA=111111111111; AAAAAA=111111111112; AAAAAA=111111111113; FILE_2 111111111111 111111111114 111111111114 Т.е. мне надо из file1 удалить AAAAAA=111111111111; так как в file2 есть такая строка И я это смогу сделать так grep -v -F -f -w file2 file1 > file3 Верно? @aragaer

Поскольку в файле 2 есть строка 111111111, то да, оно сработает. Только порядок флагов перепутал - "-f file2" должно идти вместе

Доброго времени суток Подскажите пожалуйста уже всю голову себе сломал. Есть файл текстовый с логами (8гб примерно). Нужно его отпарсить и выбрать определенные строки. И я написал такой код: f_contents - сюда прочитали сам файл. substr - строка - ключевик которую ищем в файле lines = [] for line in f_contents.strip().split('\n'): If substr in line lines.append(line) Так вот при запуске на начале цикла вылетает с ошибкой памяти (как я понял просто в цикле весь файл читается в список). Как переписать код чтобы исправить эту хрень? Спасибо

f=open("file.txt") for line in f.readlines():

а,там тоже лист

Поскольку в файле 2 есть строка 111111111, то да, оно сработает. Только порядок флагов перепутал - "-f file2" должно идти вместе

что-то не так, я пока на 20 строках проверяю и при grep -v -F -f file2 file1 > file3 В файл3 у меня просто скопировалось то, что в file1 не удалило посторяющуюся строку

А если вот такой цикл: for line in f_contents: То line это просто 1 буква как показывает вывод -> никакой подстроки он не находит

А если вот такой цикл: for line in f_contents: То line это просто 1 буква как показывает вывод -> никакой подстроки он не находит

f_contents = open("file.txt") ?

А если вот такой цикл: for line in f_contents: То line это просто 1 буква как показывает вывод -> никакой подстроки он не находит

https://stackoverflow.com/questions/519633/lazy-method-for-reading-big-file-in-python

$ cat file1 x=10 y=20 z=30 $ cat file2 20 30 $ grep -v -w -F -f file2 file1 x=10

ну то есть "у меня все работает"

Для сравнения файлов в linux есть утилита diff...

тут не сравнение

тут не сравнение

я думаю может дело в табе, который у меня в начале строки в file1 Cейчас попробую твой пример повторить создам такие же, сек

тут "удалить из одного файла все строки, которые матчат шаблоны из второго"

нет, не думаю

ща сделаю с табом

$ grep -wvFf file2 file1 x=10

$ grep -wvFf file2 file1 x=10

да с такими значениями работает что за фигня, там у меня цифр фофига, в глазах рябит =) Сейчас внимательно буду сомтреть

давай небольшой пример, на котором не работает

... хотя у меня есть гипотеза

давай небольшой пример, на котором не работает

минутку

сделай dos2unix на второй файл

Да, если во втором файле виндовые переносы строк, то работать перестает

давай небольшой пример, на котором не работает

Вот такой пример FILE_1 AAAAAA=111111111112; AAAAAA=111111111111; AAAAAA=111111111113; AAAAAA=111111111114; AAAAAA=111111111115; AAAAAA=111111111116; AAAAAA=111111111117; AAAAAA=111111111118; AAAAAA=111111111119; AAAAAA=111111111110; FILE_2 111111111111 111111111112 111111111113 111111111114 111111111115 111111111116 111111111117 111111111118 111111111119 111111111110

$ sed -i 's/$/\r/' file2 $ grep -wvFf file2 file1 x=10 y=20 z=30 $ sed -i 's/\r//' file2 $ grep -wvFf file2 file1 x=10

т.е. с начала мне по file2 sed -i 's/\r//' file2

ага

удалит оттуда виндовые переносы