@ru_python - страница 840 - Telegram web archive

Tishka17

не, можно тыщу раз групнуть наверно

Pavel

ну можно в лоб. ридлайнз -> лоадс -> ...

Yevhen

у меня есть 5Гб файл в котором каждая строка - json. Как мне его побыстрее отфильтровать по одному из полей (1000 значений конкретных)? Задача одноразовая

jq попробуй

Taisia

Учитывая что проживание и переезд оплачивается, и это уже не считая налогов (вроде как) это близко к зп мидла в восточной европе

Мидлл и нужен:) да это на руки,готовы рассматривать повышения зп:)

Максим

у меня есть 5Гб файл в котором каждая строка - json. Как мне его побыстрее отфильтровать по одному из полей (1000 значений конкретных)? Задача одноразовая

Запихнуть в монго?

Tishka17

Запихнуть в монго?

щас мне ещё монгу не хватало поднимать

Anonymous

Мидлл и нужен:) да это на руки,готовы рассматривать повышения зп:)

На сколько срочно требуется?

Апач

docker

Pavel

Запихнуть в монго?

для однократной задачи он будет с этим слишком долго возиться. тут проще в лоб

Tishka17

пофиг, запустил греп

Tishka17

пойду пообедаю

Апач

щас мне ещё монгу не хватало поднимать

nosqlbooster + mongo

Tishka17

уже где-то процентов 10 сделало

Алексей

Запихнуть в монго?

а что это даст?

Алексей

в монгу будет дольше запихиваться, чем тупо поиск построчно

Taisia

Прям тут в чате, только требования урезать. А то и швец и жнец и на дуде игрец

😭😭😭 не могу ничего убрать, так структурный руководитель сказал отдела разработки.

Tishka17

ну вотбще, это уже выгрузка из другой БД

Anonymous

И обязательно ли иметь опыт от 4х лет разработки?

Tishka17

мне просто лень разбираться как к ней напрямую коннектиться

Taisia

И обязательно ли иметь опыт от 4х лет разработки?

от 2,5 разрешили:)

Pavel

😭😭😭 не могу ничего убрать, так структурный руководитель сказал отдела разработки.

ну уточните, в каком объёме знание кубера нужно. а то разные хотелки встречаются, которые совершенно разный объём знаний подразумевают

Pavel

может, только конфиги для своих сервисов писать нужно

Anonymous

У меня около года, так, что... Ну не в этот раз значит

Taisia

Ребята! Спасибо Вам большущие! За вашу помощь мне, я честное слово очень признательна Вам, сейчас все уточню у руководителя:)

Sebor▂▅▇█▓▒░

у меня есть 5Гб файл в котором каждая строка - json. Как мне его побыстрее отфильтровать по одному из полей (1000 значений конкретных)? Задача одноразовая

Awk/fgrep Можно ещё файл скопировать в рам диск

Tishka17

Про рам диск мысль

freezlite

есть словарь, в нем дата ключ, и int значение, я его отрисовал series = Series(stats) series.plot() plt.savefig('stats') Еще хотелось бы на графике возрастание суммы посмотреть, т.е сумму значений к определенному моменту

freezlite

как это лучше и проще сделать?

freezlite

как pandas.Series запихнуть в matpotlib.pyplot subplot, т.к судя из кода выше он его магией атачит

Sergey

Снова здравствуйте. Скажите, как с помощью селениума выбрать тэги нескольких типов? Допустим, мне нужны <p>, <h1> <h2> <li>, чтобы вырвать из них текст и собрать единую статью. Я могу сделать paragraphs = txt_block.find_elements(By.TAG_NAME, "p") или аналогично для каждого тэга, но мне хочется набрать элементы с несколькими типами тэгов в таком порядке, в каком они представлены на странице.

Aidar

Снова здравствуйте. Скажите, как с помощью селениума выбрать тэги нескольких типов? Допустим, мне нужны <p>, <h1> <h2> <li>, чтобы вырвать из них текст и собрать единую статью. Я могу сделать paragraphs = txt_block.find_elements(By.TAG_NAME, "p") или аналогично для каждого тэга, но мне хочется набрать элементы с несколькими типами тэгов в таком порядке, в каком они представлены на странице.

Можно сделать через xpath, по поводу написания конкретного запроса обращайтесь в гугл

Sergey

Можно сделать через xpath, по поводу написания конкретного запроса обращайтесь в гугл

Спасибо, уже получилось. Тогда другой вопрос: есть индексы от 1 до 9000 и четыре категории ["a", "b", "c", "d"]. Каждый индекс соответствует одной статье, которая может располагаться в той или одной категории, напр. "/a/1", "/a/2","/b/3","/c/4", "/a/5" — т.е. свозная нумерация. Нужно применить функцию на каждой верной комбинации индекса и катероии, т.е. проитерироваться по двум спискам. Как можно это сделать с экономией затрат времени?

Aidar

Спасибо, уже получилось. Тогда другой вопрос: есть индексы от 1 до 9000 и четыре категории ["a", "b", "c", "d"]. Каждый индекс соответствует одной статье, которая может располагаться в той или одной категории, напр. "/a/1", "/a/2","/b/3","/c/4", "/a/5" — т.е. свозная нумерация. Нужно применить функцию на каждой верной комбинации индекса и катероии, т.е. проитерироваться по двум спискам. Как можно это сделать с экономией затрат времени?

Так вы же выбрали все нужные элементы, и можете просто проитерироваться по ним, не вижу проблем проверять это в питоне если известны правила, а дальше уже вызывайте обработчик, я бы написал функцию, которая классифицирует пару значений и по номеру класа скажем из словаря доставать обработчик

Sergey

Так вы же выбрали все нужные элементы, и можете просто проитерироваться по ним, не вижу проблем проверять это в питоне если известны правила, а дальше уже вызывайте обработчик, я бы написал функцию, которая классифицирует пару значений и по номеру класа скажем из словаря доставать обработчик

Проблема в том, что мне неизвестно, в какой категории будет статья с некоторым индексом, а обращение к некорректной паре - это 10-20 секунд поиска. 9000 я написал для примера, на самом-то деле индексов там за 50000, а категорий 15. Если каждая неверная комбинация будет съедать 15-20 секунд, то по времени работа выходит затратная.

mks

как реализовать автоматический ввод дефолтного значения в input через 30сек(без нажатия enter)(прога запускается, ждет 30 сек настройку, если нет- работает с дефолтной)

Aidar

Проблема в том, что мне неизвестно, в какой категории будет статья с некоторым индексом, а обращение к некорректной паре - это 10-20 секунд поиска. 9000 я написал для примера, на самом-то деле индексов там за 50000, а категорий 15. Если каждая неверная комбинация будет съедать 15-20 секунд, то по времени работа выходит затратная.

Выгружайте сразу несколько записей. Не совсем пойму что вы хотите сделать, найти объекты и по их классам вызвать обработчик на стороне браузера? Или на стороне питона?

Sergey

Нет, каждая комбинация - элемент адреса страницы. Если комбинация верная, то страница с адресом, включающим данную комбинацию, загружается и у меня запускается функция обработки ее содержимого. Если комбинация неверная, то загружается страница с 404, обработчик ничего не возвращает, программа переходит ко следующей комбинации. 10-20 секунд тратятся на доступ к любой странице, независимо от того, 404 там или требуемая информация. Если требуемая информация, то обработчик еще 10 секунд делает свое дело.

Dmitri

Может кто-то сказать, как называется тема, когда при делении должно получиться целое число, а получается 3.000000000000001, или что-то вроде того (как-то натыклся на статью, но забыл что оно такое) В общем хоть что-то, что можно на эту тему почитать, пожалуйста