Tishka17
хехе
Tishka17
ну короче дели тогда по дням и каждый день действительно через Set в памяти чисти
JekA
Да вот я переживаю что в один день может быть образно 10гб
JekA
А может и больше
JekA
Был ещё вариант постепенно заносить в сет
JekA
Я вот думаю, а что если я это в базу начну загонять и поставлю пометку только уникальные
Tishka17
JekA
Будет ли это лучше ? А потом просто сделаю выгрузку в файл
Tishka17
если считаешь что дня мало, юзай ещё что-то ля шардирования
JekA
Я вот думал, может из системы что-то использовать готовое. Потому что чувствую уйдёт месяц чтобы это проверить
JekA
А разбитие по дням что-то не очень сейчас помогло. Грепом разделил один день, подучилось 10гб
Sergey
а чем логи пишешь? инструмент не умеет партиционировать по размеру файлы?
Tishka17
Tishka17
Tishka17
елси по размеру разбивать могут в разные файлы попасть одинаковые строки
Sergey
JekA
Вариант с базой уже не кажется сумасшедшим ))
Tishka17
Tishka17
А дальше можешь уже в памяти через set прогнать
JekA
Взял такую цепочку sort filename | uniq
Tishka17
не не
JekA
Плохо?
Tishka17
сорт будет долго
Tishka17
сделай сначала uniq, потом уже сорт
JekA
Тогда получается можно это на большой файл натравить
JekA
Хотя мне кажется все зависнет
Ivan
Есть такое
JekA
Можно в два этапа
JekA
Сначала uniq
Потом сорт uniq
JekA
И пусть оно целый день готовит
Tishka17
Ага
JekA
А потом порционно разделить по дням и отправить клиенту
JekA
Шикарно :) спасибо всем
Tishka17
JekA
А -u что даёт, что-то забыл
Tishka17
Уникальные оставляет
tpouuhk
почему принт не работает?
Nikolay
Потому что return - часть языка, а не
Nikolay
Richard
tpouuhk
а с return'ом так не работает 🤔
tpouuhk
Nikolay
и с другими ключевыми словами не будет. С чего бы?
Richard
а с return'ом так не работает 🤔
Language:
py3
Source:
with =[9,0,8]
print(with)
Errors:
File "source_file.py", line 1
with =[9,0,8]
^
SyntaxError: invalid syntax
tpouuhk
Tishka17
Красота
Nikolay
Nikolay
Тут даже я сломался.
Richard
Tishka17
Nikolay
Я бы понял пример с return, потому что скоуп в питоне неявно всегда делает return (None если неявно)
tpouuhk
tpouuhk
Ssi
Richard
Tishka17
tpouuhk
Language:
py3
Source:
rеturn = 10
def dеf():
print(rеturn)
dеf()
Result:
10
tpouuhk
Nikolay
Мало кто знает, но питон изобрели (!) русские
Рахич,the creator
Рахич,the creator
Richard
Ан
товарищи, такой вопрос. есть аппликуха на питоне, собраная в pyenv со всеми зависимостями. в терминале запускается ок, но из го
cmd := exec.Command("python", "app", args)
cmd.Dir = filepath.Join("py-app", "bin")
cmd.Stdout = os.Stdout
cmd.Stderr = os.Stderr
err := cmd.Run()
if err != nil {
panic(err)
}
крашится с таким трейсбэком
Traceback (most recent call last):
File "py-app", line 6, in <module>
from pkg_resources import load_entry_point
File "/usr/lib/python3.8/site-packages/pkg_resources/__init__.py", line 3252, in <module>
def _initialize_master_working_set():
File "/usr/lib/python3.8/site-packages/pkg_resources/__init__.py", line 3235, in _call_aside
f(*args, **kwargs)
File "/usr/lib/python3.8/site-packages/pkg_resources/__init__.py", line 3264, in _initialize_master_working_set
working_set = WorkingSet._build_master()
File "/usr/lib/python3.8/site-packages/pkg_resources/__init__.py", line 583, in _build_master
ws.require(__requires__)
File "/usr/lib/python3.8/site-packages/pkg_resources/__init__.py", line 900, in require
needed = self.resolve(parse_requirements(requirements))
File "/usr/lib/python3.8/site-packages/pkg_resources/__init__.py", line 786, in resolve
raise DistributionNotFound(req, requirers)
что я не правильно делаю?
Ан
и такой трейс еще
```
pkg_resources.DistributionNotFound: The 'py-app==0.2' distribution was not found and is required by the application
```
Ан
поясните, плиз, почему из терминала это работает без активации pyenv, а из другой программы нет
Рафаэль
Ан
непосредственно исполняемый скрипт выглядит так
__requires__ = 'py-app==0.2'
import re
import sys
from pkg_resources import load_entry_point
if __name__ == '__main__':
sys.argv[0] = re.sub(r'(-script\.pyw?|\.exe)?$', '', sys.argv[0])
sys.exit(
load_entry_point('py-app==0.2', 'console_scripts', 'py-app')()
)
Рафаэль
а, когда через мэйн делаешь - там через хитрую жопу всё
Попробуй импорт через import прописать, должно сработать
Ан
в смысле "через импорт"?)
Рафаэль
[from pkg_resources import load_entry_point]
——>
[import pkg_resources]
Pythonic
#резюме
Ищу удаленную работу с хорошим тимлидом
Готов поработать на безвозмездной основе, ради опыта.
Опыт: 3+года
Стэк: python, django, drf, flask, postgres, mysql, mongodb, celery, rabbitmq, redis, linux, uwsgi, gunicorn
Время в день: 3-4 часов
Оплата часовая: -
Ан
Ан
не оч понятен смысл сей магии