и .. это достаточно просто сделать

Для вашей задачи: Обойдите файл2 построчно, запилите на его основе set Обойдите файл1 построчно, выводя только строки, которых нет в set ??? Profit

мне не нравится идея сета в 2 миллиона строк

а то с этими трувеями затрахаетесь

мне не нравится идея сета в 2 миллиона строк

а типа ваши методы лучше с ресурсами обращаются?

ну в смысле, bash-way

Поставил ubuntu 18.04 Сделал virtualenv Когда пытаюсь установить зависимости для проекта получаю Pip is configured withnlocation that require tls/ssl. However the ssl module in python is not available Python 2.7.6 Pip 10.0.1

grep -vFf <(sed -r 's/.*?=//; s/;//' file4) file2 > file5

А данные не сортированные в файлах?

--trusted-host пробовал

где file4 это результат предыдущего grep без -v

How to solve эту проблему с ssl?

grep -vFf <(sed -r 's/.*?=//; s/;//' file4) file2 > file5

стремно смотрится но ладно, бэкапы есть :)

ну оно ничего не модифицирует 8)

должен получиться файл file5 в 1145 строк

должен получиться файл file5 в 1145 строк

он пустой, файл5

хм

file4 у тебя точно существует? 8)

а, ну это не тот file4

ща

надо тот, в котором 1296133 строк

надо тот, в котором 1296133 строк

ага это 3

что-то не то, в 5 получилось 1297278

хм

чот не то

у тебя не мак случайно? 8)

Ну вот ты спамишь по одному сообщению и никто мне не поможет :(((

у тебя не мак случайно? 8)

нет, кручу на linux

Ну вот ты спамишь по одному сообщению и никто мне не поможет :(((

у нас тут мозговой штурм :)

как выглядят строчки в файле, где 1296133 строк?

как выглядят строчки в файле, где 1296133 строк?

как file1, AAAAAA=111111111110;

что просходит с gunicornom ? https://pastebin.com/MArNf1WG

сделай head file3 | sed -r 's/.*=//; s/;//'

сделай head file3 | sed -r 's/.*=//; s/;//'

только цифры формата file2, т.е. седовская регулярка верна

ок, они и должны быть

а, не, стоп

sed -i 's/\r//' file3 сделай 8)

виндовые переносы, блин

виндовые переносы, блин

да, вчера уточнил, выгрузка с винды

разве это проблема?

крч ту команду, что была выше, надо так grep -vFf <(sed -r 's/.*?=//; s/;\r?//' file3) file2 > file5

Приветствую, у меня короткий вопрос

для грепа - да, проблема

строка за строкой обрабатываешь, стрип перед обработкой

В питоне есть структуры данных аля как в С++?

греп не нужен

В питоне есть структуры данных аля как в С++?

конечно

В питоне есть структуры данных аля как в С++?

для таких вопросов есть python beginners

читай правила чата

для таких вопросов есть python beginners

линк?

крч ту команду, что была выше, надо так grep -vFf <(sed -r 's/.*?=//; s/;\r?//' file3) file2 > file5

1147

я так на 1 вопрос забежал

в топике

уже больше похоже на правду

короче это строчки, которые присутствуют в file2, но отсутствуют в file1

я так на 1 вопрос забежал

и что? тут таких как ты каждый час заходит

питон и с++ вполне похожи, из одного в другой легко переделать программу

и что? тут таких как ты каждый час заходит

все все.. я мухожук

как результат, сумма числа строк в file2+file3 не должна равняться числу строк в file1

короче это строчки, которые присутствуют в file2, но отсутствуют в file1

да, проверил поиском для пары строк - все верно, хотя в file1 должно было быть все... В общем просто из 4 сейчас уберу это 1147 и все И должно быть норм погрешность 1-4 строки

вы второй день с файлами бьётесь, когда уже известно, как я понял, что ни повторы, ни порядок не важны. так скопировать файл 1 в файл 3, где будут сортированные уникальные строчки, потом тоже в файл 4 из 2, потом пройтись параллельным перебором по файлам, и копировать только уникальное из 1.

как результат, сумма числа строк в file2+file3 не должна равняться числу строк в file1

что думаете о капче? (в чят)

что думаете о капче? (в чят)

Что это такое? (Я робот, сорян)

ERROR: S client not available

;)

вы второй день с файлами бьётесь, когда уже известно, как я понял, что ни повторы, ни порядок не важны. так скопировать файл 1 в файл 3, где будут сортированные уникальные строчки, потом тоже в файл 4 из 2, потом пройтись параллельным перебором по файлам, и копировать только уникальное из 1.

ну я как бы и хотел пройтись циклами, но у нас тут bash way :)

вы второй день с файлами бьётесь, когда уже известно, как я понял, что ни повторы, ни порядок не важны. так скопировать файл 1 в файл 3, где будут сортированные уникальные строчки, потом тоже в файл 4 из 2, потом пройтись параллельным перебором по файлам, и копировать только уникальное из 1.

with open('file2', 'r') as f: f2_set = {line for line in f} with open('file1', 'r') as source, open('result', 'w') as result: for line in source: if line not in f2_set: result.write(f'{line}\n')50 мб легко влезут в память даже мобильного телефона. Работать будет за O(n) по времени. Почему так нельзя?

да не циклами, линейным проходом.

не верю я в линейный проход

квадрат там будет

но оно и в грепе если что будет квадрат

with open('file2', 'r') as f: f2_set = {line for line in f} with open('file1', 'r') as source, open('result', 'w') as result: for line in source: if line not in f2_set: result.write(f'{line}\n')50 мб легко влезут в память даже мобильного телефона. Работать будет за O(n) по времени. Почему так нельзя?

так и можно. я примерно это и предлагаю

просто я не вижу смысла писать скрипт на питоне, если можно просто одним коротким грепом все сделать

и ведь сделали

а дальше было убито два дня, чтобы доказать, что это именно то, что требовалось

а дальше было убито два дня, чтобы доказать, что это именно то, что требовалось

хотя можно было за минуту скрипт написать : ))

греп был написан быстрее, чем за минуту 8)

и применен спустя 2 дня

неа, сразу же. А два дня, чтобы убедить, что это правильный результат

откуда квадрат, если они уже отсортированы. сравниваем первые элементы, скользим, по меньшему до смены знака, переключаем индекс скольжения. при этом переносим в резултьтат только то, что не нашлось во втором.

неа, сразу же. А два дня, чтобы убедить, что это правильный результат

А, ну ладно тогда. Я особо не вникал в проблемы

а то что греп виснет на некоторых запросах и жрёт всю оперативку

откуда квадрат, если они уже отсортированы. сравниваем первые элементы, скользим, по меньшему до смены знака, переключаем индекс скольжения. при этом переносим в резултьтат только то, что не нашлось во втором.

а, ну если с сортировкой, то быстрее - nlogn

потому что сортировка

неа, сразу же. А два дня, чтобы убедить, что это правильный результат

кстати опять на выходе замута получилась я из файла с 675788 хотел убрать ту 1145 и как оказалось их там нет =)

регекспы - зло, их надо по минимому юзать

кстати опять на выходе замута получилась я из файла с 675788 хотел убрать ту 1145 и как оказалось их там нет =)

ну да, потому что они есть только в file2

регекспы - зло, их надо по минимому юзать

чем?

а, ну если с сортировкой, то быстрее - nlogn

соглашусь.

а там поэтому и был -F - fixed string

регекспы - зло, их надо по минимому юзать

регекспы - божий дар, как без них жить вообще

регекспы - божий дар, как без них жить вообще

слова пхпешника

@aragaer Кстати, а как проверить есть ли определенные строки в файле, ты писал выше но я потерял, мне еще 400 строк надо найти есть они или нет в финальном файле

всего хорошо в меру ?

у тебя есть список строк и ты хочешь проверить, есть ли они в файле?