Konstantin
Сервис по сути отчеты рисует
Tishka17
По запросу, по сути
Ну я имел ввиду как часто запросы и сколько времени выполняется сейчас запрос
Tishka17
Ну 15 секунд можно и подождать
Tishka17
Это же отчёты
Konstantin
Tishka17
Лишь бы это не тормозило всю остальную систему
Konstantin
Konstantin
Проблема в записи потом будет
Tishka17
Какой записи. Ты же сказал отчёт
Konstantin
Как часто?
Ну рпс не скажу
м_м
это уже называется не здоровый перфекционизм
Tishka17
Ну аналитический отчёт же не строится каждую секунду. Хорошо если раз в час. Не?
Konstantin
Какой записи. Ты же сказал отчёт
Процесс такой. Файл приходит, файл парсится и сохраняет 200к записей в базу. 200к записей сохраняются долго джангой
Tishka17
Чо
Konstantin
Приходят сейчас раз в день, потом будут проходить, раз в 10 минут
Tishka17
Ты только что говорил "построить отчёт по базе"
Tishka17
Теперь мы что-то пишем
Tishka17
Давай целиком задачу
Konstantin
Погоди тогда секу)
Arseniy
Ку
Arseniy
Есть кто юзает filebrowser под джангой?
Arseniy
Django-filebrowser
м_м
у меня такой риторический вопрос хочу начать один из двух проектов(открытых). один интересный и мне его хочется делать, но результат - неизвестно когда будет. второй не так интересен, но я знаю что делать, и результат известен, но он продолжительный. ожидаемый результат от обоих проектов: хорошее портфолио вопрос: какой проект лучше делать?
Tishka17
Есть кто юзает filebrowser под джангой?
Хз что это. Кажется, он не работает когда больше одного сервера. Или я не прав?
Konstantin
Есть джанга + постгрес + nginx Внутри джанги написал скрипт, который собирает файлики которые приходят раз а день на почту. Файлики парсятся и данные складываются в базу(есть также таблицы зависимостей, которые указывают с чем соотносить данные из файлика). Есть апи, которая ходит в базу за данными (там всякие методы, которые фильтруют и сортируют сырые данные нужным образом). Один из методов забирает сырые данные и считает всякое, выкидывая новые сущности(типа взять дельту за определенную дату). Так как данных дохрена, вытаскивает он это очень долго. Фронт из этих данных формирует отчетики и графики
Tishka17
Тогда первый
Tishka17
3 месяца это довольно большой срок, чтобы говорить о предсказуемом результате
м_м
так неизвестно - это еще больше.
Tishka17
так неизвестно - это еще больше.
Возможно ты можешь сделать часть этого неизвестного
Konstantin
Хм. Вот я тут даже не знаю зачем тут постгрес и монга одновременно
Ну а представь количество новых сущностей, за один день, если в одном отчёте 100к строк
Konstantin
Или 200
Tishka17
Ну а представь количество новых сущностей, за один день, если в одном отчёте 100к строк
100к строк - это уже не отчёт, а какие-то сырые данные для отчета
Tishka17
Что ты имеешь ввиду?
На этапе заполнения не раскидывать по разными таблицам то, что все равно потом всегда джойнить
Anonymous
Ребят как инкапсулу обойти помогите плез ?
Anonymous
капча
Anonymous
наподобии
м_м
Возможно ты можешь сделать часть этого неизвестного
по тебе лучше интересное и неизвестное, чем пилить велосипеды ? )
м_м
Христофор Колумб
Tishka17
капча
Попробуй написать автору сайта, может быть он тебе даст нормальное апи
Tishka17
по тебе лучше интересное и неизвестное, чем пилить велосипеды ? )
Лучше новое чем велосипед. Лучше интересное чем скучное.
Tishka17
Но возможно второе решается без велосипедлстроения
Konstantin
На этапе заполнения не раскидывать по разными таблицам то, что все равно потом всегда джойнить
А как тогда мне связи искать. На строки, по которым искать, индексы поставить? Дело даже не в join, а в огромных выборках
Tishka17
У тебя в постгресе есть blob, hset, json поля. Можешь юзать
Tishka17
Если тебе всегда надо вытаскивать какую-то сущность целиком - нет особого смысла её нормализовать и класть в кучу таблиц.
Tishka17
Ну и так же, ты можешь одновременно хранить нормализованное и денормализованное представление.
Konstantin
Эм. Зачем искать связи?
Суммировать данные нужно отталкиваясь от связных обектов
Tishka17
Ты можешь при записи считать. Если запись реже чем чтение
м_м
3 месяца это довольно большой срок, чтобы говорить о предсказуемом результате
а какой срок тогда стоит брать во внимание? месяц? недели?
м_м
ты прям как шар предсказаний)))
Tishka17
а какой срок тогда стоит брать во внимание? месяц? недели?
Хз. Я бы для пет проектов ориентировался на пару недель. Ну то есть можно и три месяца при условии, что через месяц будет какой-то прототип
Tishka17
Если это никому ненужная вещь, ты за месяц-другой без mvp выгораешь
Konstantin
Ты можешь при записи считать. Если запись реже чем чтение
К сожалению, не могу, потому что не знаю будут ли запрошенны данные за эту дату при записи
Anonymous
С помощью BS4 запарсил сайт, но вместо русского текста вот это: Как исправить?
Aragaer
настроить то, где оно отображается, чтобы нормально отображалось
Anonymous
С помощью BS4 запарсил сайт, но вместо русского текста вот это: Как исправить?
оставь так если увеличить и повесить на стену то можно продать как современное искусство обогатишься нахер тот петон попробуй decode('cp1251').encode('utf_8')
Anonymous
а че ты мне жалуешься - это у тебя телеграм устарел
Anonymous
такое можешь прочитать? превед
Anonymous
У меня utf-8 стоит, но всё равно не работает
Anonymous
збс
Lev
Что это за сообщение? А то у меня не поддерживается
Anonymous
У меня utf-8 стоит, но всё равно не работает
это оно у тебя в настройках в редакторе стоит, правильно? а сат тебе присылает в кодировке 1251 например