tfhx8
- зачем общий кэш? - чтобы был кэш - а если у каждого будет свой кэш - ну тогда же данные будут не из кэша читаться
я тебе писал зачем кеш, чобы там были уже данные конфига и чтобы это тконфиг не открывался с диска и не считывался
Alex
если ты не хочешь брать редис, в чем проблема сделать кеш у каждого воркера свой в памяти самого воркера?
Kop
Я кажись понял что он хочет
Tishka17
потому что он игнорирует нас
Kop
И зачем
Tishka17
чтобы сэкономить пару миллисекунд
Kop
кэш =)
Да это то понятно, цель общая
Tishka17
и пару мегабаайт
tfhx8
бля, я уже не спрашиваю зачем кэш. Я српашиваю ЗАЧЕМ ОН ДОЛЖЕН БЫТЬ ОБЩИМ
для того чтобы его видели все воркеры и процессы
Kop
Мол у него 10 тб данных, считывать в разные затратно и есть необходимость хранить в одном потоке чтоб из него вычитывать
Kop
Верно?
tfhx8
Tishka17
Мол у него 10 тб данных, считывать в разные затратно и есть необходимость хранить в одном потоке чтоб из него вычитывать
нет, у него несколько json файлов, которые создаются руками, которые он хочет отдавать по запросу.
Tishka17
да)
10Тб?
Tishka17
10 Тб не влезут все в кэш
Ольгерд
Это же целый китай будет много лет вбивать 10тб руками :D
Tishka17
=D
Oleg
так экономику страны и поднимают )
tfhx8
😂
tfhx8
не 10ТБ, но суть примерна такая
tfhx8
чтобы все процессы и форкеры читали уже загрузившейся ранее конфиг
Kop
Только теперь вопрос, если тебе необходимо хранить эту структуру и обращаться к ней, что мешает положить в промежуточное звено, а не в кэш?
Alex
чтобы все процессы и форкеры читали уже загрузившейся ранее конфиг
в чем проблема каждому воркеру читать свой конфиг?
Tishka17
ладно, ребята. Мне надоело. Оставшиеся вопросы: 1. Сколькоо миллисекунд занимает загрузка из файла без кэша 2. Сколько всего места занимают эти файлы 3. Будут ли они меняться во время работы программы. Если да, нкак быстро надо изменения подгружать? 4. Зачем хранить "сгенерированные" данные
Kop
Тот же редис для промежуточных данных подойдёт
Tishka17
редис хуедис
Tishka17
обращение к редису не мгновенное
Kop
обращение к редису не мгновенное
Естественно, никто и не говорит что за наносекунду все будет
Tishka17
чтобы что-то прочитать из редиса - надо сделать запрос, а потом распарсить ответ! Внезапно именно этот парсинг человек привел как аргумент необходимости кэша
Tishka17
Естественно, никто и не говорит что за наносекунду все будет
мы все ещё не знаем сколько пытаемся сэкономить. Возможно обращение к редису будет столько же времени занимать
Tishka17
Он изначально файл парсит по особому, а ему спарменный вариант с данными вроде как нужен
а из редиса не надо удет по особому парсить? А почему нельзя чтобы файл парсился попроще?
Tishka17
сплошные вопросы
Kop
мы все ещё не знаем сколько пытаемся сэкономить. Возможно обращение к редису будет столько же времени занимать
Тут верно, но я пока со стороны так это понял, мол изначальный парсинг занимает 20 минут, потом есть результат и с этим результатом уже надо работать
tfhx8
в чем проблема каждому воркеру читать свой конфиг?
они и так динамичекси могут читать. Тоесть надо считать 1 раз с файла и положить в память и брать от туда
Tishka17
имеешь ввиду lru или еще что то есть?
https://t.me/ru_python/1033989 вот без ответов на эти вопросы любые попытки что-то реализовать приведут к тому, что ты будешь каждую неделю переписывать, потмоу что ничего не изменилось
Kop
В общем если там какие-то данные обрабатываются и происходят вычисления и это занимает 40 минут образно, то храни это в промежуточном варианте, типо редиса, но помни про тот же парсинг редиса
Tishka17
с таким же успехом можно хранить в переменной в памяти
Tishka17
или в файле
Kop
Вроде как решилось))))
Ольгерд
Тогда потребуется 10тб оперативки
Kop
Тогда потребуется 10тб оперативки
А может там на выходе 1 гб
Kop
Никто никогда не узнаёт
👑OGURCHIK🖤
Врот
👑OGURCHIK🖤
😂
Kop
А сам почему не справился
Александр
Подскажите. У меня нигде не вызывается модуль unicodedata, но при запускет ругается no module named unicodedata
Nikolay
Kop
Пример есть на официальном сайте
👑OGURCHIK🖤
Мда
EL84 💡
😂
Anonymous
Ребят извиняюсь за вопрос с чего лучше начать учить python?
👑OGURCHIK🖤
С питона🤔
Kop
Ребят извиняюсь за вопрос с чего лучше начать учить python?
Найди работу которая нравится, прочитай книги, живи с этим
Tishka17
создай в консоли
👑OGURCHIK🖤
Но как показывает статистика надо выучить хотя бы типы данных
Ольгерд
Tishka17
это ф-строки
Tishka17
ну
Nikolay
Ребят извиняюсь за вопрос с чего лучше начать учить python?
читай https://github.com/ru-python-beginners/faq/blob/master/README.md
Alex
f-string
Tishka17
тоже давай в чат новичков, а
Dogma
Тебе гугл там не сказал что ты лезешь выше чем можешь, а ещё ты прыгаешь слишком резко от темы до темы, вроде как вчера ты рисовал треугольник в пигейме
Tishka17
потому что блядь правила не читаешь о которых каждому входящему говорится
Chees Player
Народ, а в python можно с бд по модели codefirst?
Tishka17
все. закончили
Chees Player
чо?
Ну сначало модель бд создать, и потом бд создать засчет кода python, не sql,
Dogma
Ну ормки многие это умеют и так
Dogma
Так что да, можно