Andrey
а зачем?
Vadim třetí 『很多米饭,红龙 』
Anonymous
нихуя не понял
Svyatoslav
Почти наверняка да, желание чётче сформулируй вплоть до псевдокода
Открываю архив bz2 командой bzless, затем ищу через / к примеру ip, как нахожу жму n, и так далее. Захотел автоматизировать это. ЗЫ пробовал через python и модуль bz2 делать, доходит до определенной строки и сброс просто. Как будто буфер лимит имеет или что.
Tishka17
Какой-нибудь bzgrep
Svyatoslav
А такой bzgrep разве есть
Tishka17
Хз
Svyatoslav
Tishka17
А такой bzgrep разве есть
https://www.opennet.ru/man.shtml?topic=bzgrep&category=1&russian=2
Svyatoslav
@Tishka17 @hogweed1 https://slexy.org/view/s2Uud6sxh1
Svyatoslav
Svyatoslav
for line in fp нельзя?
Можно, я уже просто по всякому думал, может из за "for ... in ... " у меня доходит до 8тысячной строки и сбрасывает, сделал через while
Tishka17
"сбрасывает"?
Svyatoslav
"сбрасывает"?
Доходит до 8169 строки и на середине ее обрезает, все, вывода дольше print нет.
Aragaer
чот у меня сегодняшняя йолка выдает неправильный результат 8(
Svyatoslav
а по памяти что? смотрел, заканчивается ли она у тебя или нет?
Хм, нет, тк читал в документации, что readline читает по строчно и использует память для каждой строки (примерно так я понял), а вот readlines читает сначала весь файл Плюс я распаковывал лог, 350мб, for in читает нормально весь файл и весь вывод строк
Svyatoslav
Ну и while тоже читает нормально весь файл распакованный
Svyatoslav
А если с архива bz2 читаю, print доходит только до середины 8169 строки
Andrey
то есть у тебя есть варианты при которых всё работает, но ты хочешь победить вариант при котором не работает?
Svyatoslav
то есть у тебя есть варианты при которых всё работает, но ты хочешь победить вариант при котором не работает?
На сервере лежат логи по 30гб, я их не могу распаковывать и потом читать, мне сразу надо, на лету
Tishka17
Бери уже bzgrep
Svyatoslav
Ну если мыслей нет, то ладно. Буду как Тишка сказал пробовать
Tishka17
Как на больничный пошел, настроение пропало решать
Anonymous
А как по другому?
посимвольно
Anonymous
Доходит до 8169 строки и на середине ее обрезает, все, вывода дольше print нет.
оно висит просто? вполне возможно что твое чтение построчно до \n не доходит
Anonymous
посмотри в strace че творится
Anonymous
Anonymous
хотя может я вопрос не так прочитал, но замечание со строкой все еще актуально
Svyatoslav
оно висит просто? вполне возможно что твое чтение построчно до \n не доходит
\n это конец строки просто, и доходит же нормально, аж до 8169 строки. Или не то говорю?
Tishka17
bzip же
Так он его не через open открыл
Aragaer
ух, долго ловил багу в своем коде, а надо все-таки внимательнее читать задание
Шерзод
кто-нибудь знает как переводить пользователя на канал Telegram-Bot?
Ihor
привет, есть задача получать запрос с названиями файлов потом скачать файлы они большие до 3Гб обработать и сообщить что можно забрать. что лучше юзать для очереди редис pub / sub или какую Кафку или рабит ?
Tishka17
Любую
Роман
три чата ты задолбать смог, правила прочитать не смог. @Tishka17 жги.
Вы чо какие злые? Челу 16 лет. Для школьного проекта ищет инфу...
Alex
Вы чо какие злые? Челу 16 лет. Для школьного проекта ищет инфу...
возраст не оправдание неумению себя вести в интернетах.
Роман
возраст не оправдание неумению себя вести в интернетах.
Так все не сразу родились и в дело годились. Научится.
Aragaer
а чтобы научился нужен стимул. Вот он и есть
Alex
всего лишь на день. бан не перманентный.
Ihor
Не) там тупо json или идишки бу гонять
Aragaer
похоже, не я один споткнулся об 203
Tishka17
скорее всего тебе это не надо
Tishka17
зачем?
Tishka17
попробуй словари
Tishka17
ну
Tishka17
попрбуй словари
Anvar
Словарь подойдёт, да
Сережа
Ребят, всем привет, есть вопрос. Вот у меня есть много батчей данных, и мне надо распределить их между n процессами, обычно такие проблемы я решал через rabbitmq нно тут мне надо локально как-то и для этого поднимать rabbit навереное не вариант. Как такое можно сделать?
Tishka17
а почему не вариант?
Tishka17
ну можно тупо multiprocessing.Pool заюзать
Unknown
а если user_1 тегает user_n 2 раза и user_2 тегает user_n два раза?
Сережа
Воот, а я могу написать генератор который будет давать процессам таску? просто с потоками там вродь так просто нельзя
Tishka17
чо
Сережа
Типа у меня есть 60к ключей шардов, и мне нужно сделать питоновский генератор который каждому процессу при обращении будет давать свою таску
Сережа
https://pastebin.com/iYf3z1wX Я вот поробовал, но там генератор не слушается
Alex
https://pastebin.com/iYf3z1wX Я вот поробовал, но там генератор не слушается
зачем так извращаться? почему ты не взял map?
Сережа
Там же надо с конкретным массивом мапить
Сережа
А так я понял, я могу вродь просто при определении футур свой генератор вставить
 Никита
#работа Требуется фронт-ендер в команду для верстки веб-проектов. Портфолио покажем. Зарплатная вилка от 15к за простой проект (качественный лендинг). Ценим и любим свой продукт, поэтому педантичны в мелочах.
 Никита
На удаленке
Kirill
кто-нибудь делал задачу по мониторингу изменений в базе данных? как структура таблиц менялось, версии хранимых процедур. вот это все
Ilya
кто-нибудь делал задачу по мониторингу изменений в базе данных? как структура таблиц менялось, версии хранимых процедур. вот это все
А зачем тебе это? Структура БД в проде не меняется, только при апгрейдах. Или это для разработки?
Kirill
А зачем тебе это? Структура БД в проде не меняется, только при апгрейдах. Или это для разработки?
у нас часть проекта это большая mssql база с хранимками, туда разрабы руками вносят изменения. Хотим хотя бы логировать этот хаос