Tishka17
хехе
Tishka17
ну короче дели тогда по дням и каждый день действительно через Set в памяти чисти
JekA
Да вот я переживаю что в один день может быть образно 10гб
JekA
А может и больше
JekA
Был ещё вариант постепенно заносить в сет
JekA
Я вот думаю, а что если я это в базу начну загонять и поставлю пометку только уникальные
Tishka17
Да вот я переживаю что в один день может быть образно 10гб
ну раздели по дням и посомтри что будет
JekA
Будет ли это лучше ? А потом просто сделаю выгрузку в файл
Tishka17
если считаешь что дня мало, юзай ещё что-то ля шардирования
JekA
Я вот думал, может из системы что-то использовать готовое. Потому что чувствую уйдёт месяц чтобы это проверить
JekA
А разбитие по дням что-то не очень сейчас помогло. Грепом разделил один день, подучилось 10гб
Sergey
а чем логи пишешь? инструмент не умеет партиционировать по размеру файлы?
Tishka17
елси по размеру разбивать могут в разные файлы попасть одинаковые строки
JekA
уникальные за период?
По большей части да, партицирование на уровне даты уже сообразили :)
JekA
Вариант с базой уже не кажется сумасшедшим ))
Tishka17
По большей части да, партицирование на уровне даты уже сообразили :)
я тебе говорю, прогони через uniq. Он уберет повторябщиееся дубли
Tishka17
А дальше можешь уже в памяти через set прогнать
JekA
Взял такую цепочку sort filename | uniq
Tishka17
не не
JekA
Плохо?
Tishka17
сорт будет долго
Tishka17
сделай сначала uniq, потом уже сорт
JekA
Тогда получается можно это на большой файл натравить
JekA
Хотя мне кажется все зависнет
Ivan
сделай сначала uniq, потом уже сорт
uniq требует на вход сортированные данные, иначе будут дубли
Tishka17
uniq требует на вход сортированные данные, иначе будут дубли
Конечно. Зато как промежуточный этап можно сократит значительно выборку
Ivan
Есть такое
JekA
Можно в два этапа
JekA
Сначала uniq Потом сорт uniq
JekA
И пусть оно целый день готовит
Tishka17
Ага
JekA
А потом порционно разделить по дням и отправить клиенту
JekA
Шикарно :) спасибо всем
JekA
А -u что даёт, что-то забыл
Tishka17
Уникальные оставляет
tpouuhk
почему принт не работает?
Nikolay
Потому что return - часть языка, а не
Nikolay
Richard
Потому что return - часть языка, а не
Зарезервированое слово*
tpouuhk
а с return'ом так не работает 🤔
tpouuhk
🤔
Nikolay
и с другими ключевыми словами не будет. С чего бы?
Richard
а с return'ом так не работает 🤔
Language: py3 Source: with =[9,0,8] print(with) Errors: File "source_file.py", line 1 with =[9,0,8] ^ SyntaxError: invalid syntax
Ssi
а с return'ом так не работает 🤔
есть разница между функцией и оператором
tpouuhk
🤔
Tishka17
Красота
Nikolay
Nikolay
Тут даже я сломался.
Richard
Tishka17
🤔
Это второй питон что ли?
Nikolay
Я бы понял пример с return, потому что скоуп в питоне неявно всегда делает return (None если неявно)
tpouuhk
🤔🤔🤔🤔🤔🤔🤔🤔🤔
Ssi
Richard
Tishka17
🤔🤔🤔🤔🤔🤔🤔🤔🤔
Русские буквы?
tpouuhk
Language: py3 Source: rеturn = 10 def dеf(): print(rеturn) dеf() Result: 10
tpouuhk
Русские буквы?
ехехе, ну всё, посмеялись и хватит 😊👍
tpouuhk
[✅] николайн сломан
Nikolay
Мало кто знает, но питон изобрели (!) русские
Рахич,the creator
каво
Рахич,the creator
каво
наркомания какая-та
Ан
товарищи, такой вопрос. есть аппликуха на питоне, собраная в pyenv со всеми зависимостями. в терминале запускается ок, но из го cmd := exec.Command("python", "app", args) cmd.Dir = filepath.Join("py-app", "bin") cmd.Stdout = os.Stdout cmd.Stderr = os.Stderr err := cmd.Run() if err != nil { panic(err) } крашится с таким трейсбэком Traceback (most recent call last): File "py-app", line 6, in <module> from pkg_resources import load_entry_point File "/usr/lib/python3.8/site-packages/pkg_resources/__init__.py", line 3252, in <module> def _initialize_master_working_set(): File "/usr/lib/python3.8/site-packages/pkg_resources/__init__.py", line 3235, in _call_aside f(*args, **kwargs) File "/usr/lib/python3.8/site-packages/pkg_resources/__init__.py", line 3264, in _initialize_master_working_set working_set = WorkingSet._build_master() File "/usr/lib/python3.8/site-packages/pkg_resources/__init__.py", line 583, in _build_master ws.require(__requires__) File "/usr/lib/python3.8/site-packages/pkg_resources/__init__.py", line 900, in require needed = self.resolve(parse_requirements(requirements)) File "/usr/lib/python3.8/site-packages/pkg_resources/__init__.py", line 786, in resolve raise DistributionNotFound(req, requirers) что я не правильно делаю?
Ан
и такой трейс еще ``` pkg_resources.DistributionNotFound: The 'py-app==0.2' distribution was not found and is required by the application ```
Ан
поясните, плиз, почему из терминала это работает без активации pyenv, а из другой программы нет
Рафаэль
Ан
Уверен, что в первом случае в внутри окружения запускаешь?
я не делал source bin/activate ни в терминале, ни программно. но в терминале работает и так
Ан
непосредственно исполняемый скрипт выглядит так __requires__ = 'py-app==0.2' import re import sys from pkg_resources import load_entry_point if __name__ == '__main__': sys.argv[0] = re.sub(r'(-script\.pyw?|\.exe)?$', '', sys.argv[0]) sys.exit( load_entry_point('py-app==0.2', 'console_scripts', 'py-app')() )
Рафаэль
а, когда через мэйн делаешь - там через хитрую жопу всё Попробуй импорт через import прописать, должно сработать
Ан
в смысле "через импорт"?)
Рафаэль
[from pkg_resources import load_entry_point] ——> [import pkg_resources]
Рафаэль
в смысле "через импорт"?)
надеюсь, более опытные коллеги поправят, если что
Pythonic
#резюме Ищу удаленную работу с хорошим тимлидом Готов поработать на безвозмездной основе, ради опыта. Опыт: 3+года Стэк: python, django, drf, flask, postgres, mysql, mongodb, celery, rabbitmq, redis, linux, uwsgi, gunicorn Время в день: 3-4 часов Оплата часовая: -
Ан
[from pkg_resources import load_entry_point] ——> [import pkg_resources]
а потом как? pkg_resources.load_entry_point ?
Ан
не оч понятен смысл сей магии