Алексей
Хорошо, завтра гляну)
У меня смысл был такой что мы обеспечиваем обмен приватными сообщениями
ShadowBroker
Тут есть люди с знанием .NET?
ShadowBroker
.net
Подскажи пожалуйста на счёт изучения vb net. Как это лучше всего делать? Инфа вся только в доках, а книги чуть ли не прошлого столетия
Oleksii
подскажите, а точнее напомните есть проект, у меня есть своя ветка. если я хочу, что бы мой ментор просмотрел ее, мне надо ее просто отправить, без мерджа?
Пашок🗽
MR /PR
Димитрий
Зачем питону jdk ?
Питон без jdk = 💀
m700
Подскажи пожалуйста на счёт изучения vb net. Как это лучше всего делать? Инфа вся только в доках, а книги чуть ли не прошлого столетия
Юзал тока vba. На счёт давности я до весны юзал 10 летней давности версии, а учил по 17 летней давности учебникам.
Пашок🗽
Питон без jdk = 💀
Типа как переманить народ с питона на java ?)) Не стоит 😁
m700
Из 90 процентов вайтишников, смысла нет
m700
смгли хотя бы в петухон уже отлично им хорошо и которам норм
Name
Интересное наблюдение. Только в СНГ люди работающие в it такие токсичные.)
oxy
гайз, порекомендуйте трекер проектов и задач, интегрирующийся в гугл календарь. гугл задачи слабый функционал а в секундомере🤣 нет статистики
ShadowBroker
Интересное наблюдение. Только в СНГ люди работающие в it такие токсичные.)
Конкретно из Украины тоже есть токсик в данном чате
Name
Фу как токсчино звучит, осуждаю
чуть выше сообщения почитай, больше поводов для осуждения найдешь)
Akolit
и?
m700
Спасибо. Очень помогло. Как раз в мезозой собирался
норм, потом просто постепенно посмотришь новые фичи в версиях и все
Name
Не нашёл, ты меня обманул
ну лан, значит петухонщики и вайтишники это норм лексикон)
Maksim Pozharskiy
ну лан, значит петухонщики и вайтишники это норм лексикон)
По твоему вайтишники это токсичный термин?
Name
По твоему вайтишники это токсичный термин?
в зависимости от контекста естественно)
Name
Лан, ну будем раздувать срач, спать ушел.)
Шурок
Зашёл. @ Накинул говна на вентилятор @ Ооооо ТОКСИКИ ТОКСИКИ @ Я спать
Agent_RBY_
Привет Питон гавно, Джава для лохов, фронтендеры не люди, на бекенде все очень изи Я спать
Agent_RBY_
Ок
🥺
David
🥺
Спокойной ночи😃
Bogdan
а блин я не читал до этого
Bogdan
простой и удобный
Bogdan
а стоп они же не добавили полноценной синхронизации с GC
Владислав
Есть сис админы тут?. Windows server 19 упала загрузка ОС. Диск в рейде. (Всё с ним хорошо) если запустить с life cd win 7 64 - вижу рейд с виндой .. если с life win 10 то вижу файловый рейд. Но не вижу с виндой).. sfc /scannow не сделать из под загрузочной флешки потому что не видит рейд с виндой)))))вот такая делема ) если есть кто шарит плиз в лс
Kolya
Всем доброго времени суток. Проблема: неконтролируемый рост потребления памяти. Проект на джанго. На бэке отправляется запрос в базу. Считается воронка. Запрос долгий и тяжелый но считается всегда за один день, а дальше итерируется дата по дню. Обрабатывает порядка 15-20 миллионов записей в день, возвращает 3-4 миллиона уникальных. На сервере работает за 20-40 секунд. На локалке 2-3 минуты(видимо траблы с впн, но не суть). Так вот благодаря такой задержке на локалке заметил, что память растёт непрерывно все время обработки запроса. Т.е. в простое проект занимает 200 метров. За время запроса постепенно поднимается до 600-700 метров. После окончания падает до 350 метров. Т.е. сам датафрейм занимает около 150метров. На сервере такой проблемы нет. Запрос отрабатывает быстро и максимум успевает накопить тот же объем, что и остаётся в памяти, т.е. сам дата фрейм. А тут оказывается есть такая проблема, которая раньше просто не замечалась База clickhouse, либа для конекта, clickhouse_driver. Python 3.10 Подскажите сталкивался ли кто с подобным? Реально ли такое пофиксить? И чем это вызвано?
Яруллин
Здравствуйте. Ищу разработчиков игр для создания игр на подобии шахмат. Шахматы 3.0 9990 уровня сложности самой игры и тд. Последний 9 уровеня оставляю вам для творчества и реализации своих идей в мир шахматов. Максимум хардкора, бреда, логики и пафоса )))). Зачем такие шахматы нужны я не знаю. Сказано сделано )))). Давайте ради юмора и пафоса создадим эти шахматы. Если интересно звоните +7 982 159 52 41. Все правила объясню по телефону. Если что сам могу позвонить ну мало ли вдруг у кого мало минут и или гб на телефоне. Благодарю за внимание. Хорошего дня вам. Спасибо
Ruslan
Добрый день! Подскажите где мог допустить ошибку, на курсе Hexlet, в PyCharm код запускается верно, а на курсе в самом браузере выдает ошибку E501. Код выглядит следующим образом print('- Did Joffrey agree? \n- He did. He also said "I love using \\n".') Задание!
Paherist
Ga
Всем доброго времени суток. Проблема: неконтролируемый рост потребления памяти. Проект на джанго. На бэке отправляется запрос в базу. Считается воронка. Запрос долгий и тяжелый но считается всегда за один день, а дальше итерируется дата по дню. Обрабатывает порядка 15-20 миллионов записей в день, возвращает 3-4 миллиона уникальных. На сервере работает за 20-40 секунд. На локалке 2-3 минуты(видимо траблы с впн, но не суть). Так вот благодаря такой задержке на локалке заметил, что память растёт непрерывно все время обработки запроса. Т.е. в простое проект занимает 200 метров. За время запроса постепенно поднимается до 600-700 метров. После окончания падает до 350 метров. Т.е. сам датафрейм занимает около 150метров. На сервере такой проблемы нет. Запрос отрабатывает быстро и максимум успевает накопить тот же объем, что и остаётся в памяти, т.е. сам дата фрейм. А тут оказывается есть такая проблема, которая раньше просто не замечалась База clickhouse, либа для конекта, clickhouse_driver. Python 3.10 Подскажите сталкивался ли кто с подобным? Реально ли такое пофиксить? И чем это вызвано?
А пишешь потоком?
Ga
Всем доброго времени суток. Проблема: неконтролируемый рост потребления памяти. Проект на джанго. На бэке отправляется запрос в базу. Считается воронка. Запрос долгий и тяжелый но считается всегда за один день, а дальше итерируется дата по дню. Обрабатывает порядка 15-20 миллионов записей в день, возвращает 3-4 миллиона уникальных. На сервере работает за 20-40 секунд. На локалке 2-3 минуты(видимо траблы с впн, но не суть). Так вот благодаря такой задержке на локалке заметил, что память растёт непрерывно все время обработки запроса. Т.е. в простое проект занимает 200 метров. За время запроса постепенно поднимается до 600-700 метров. После окончания падает до 350 метров. Т.е. сам датафрейм занимает около 150метров. На сервере такой проблемы нет. Запрос отрабатывает быстро и максимум успевает накопить тот же объем, что и остаётся в памяти, т.е. сам дата фрейм. А тут оказывается есть такая проблема, которая раньше просто не замечалась База clickhouse, либа для конекта, clickhouse_driver. Python 3.10 Подскажите сталкивался ли кто с подобным? Реально ли такое пофиксить? И чем это вызвано?
А и про какую память речь?
Ga
Всем доброго времени суток. Проблема: неконтролируемый рост потребления памяти. Проект на джанго. На бэке отправляется запрос в базу. Считается воронка. Запрос долгий и тяжелый но считается всегда за один день, а дальше итерируется дата по дню. Обрабатывает порядка 15-20 миллионов записей в день, возвращает 3-4 миллиона уникальных. На сервере работает за 20-40 секунд. На локалке 2-3 минуты(видимо траблы с впн, но не суть). Так вот благодаря такой задержке на локалке заметил, что память растёт непрерывно все время обработки запроса. Т.е. в простое проект занимает 200 метров. За время запроса постепенно поднимается до 600-700 метров. После окончания падает до 350 метров. Т.е. сам датафрейм занимает около 150метров. На сервере такой проблемы нет. Запрос отрабатывает быстро и максимум успевает накопить тот же объем, что и остаётся в памяти, т.е. сам дата фрейм. А тут оказывается есть такая проблема, которая раньше просто не замечалась База clickhouse, либа для конекта, clickhouse_driver. Python 3.10 Подскажите сталкивался ли кто с подобным? Реально ли такое пофиксить? И чем это вызвано?
Нужно больше контекста
Kolya
А пишешь потоком?
Хм, не знаю как там это работает. В ридере вызываю execute. Не читал как он обрабатывает запрос. Насколько мне известно, все считается на нодах сервера с базой и потом возвращается результат. Т.е. три стадии. Отправили, ждем, получили. Не думаю, что там будет потоковая запись, но хорошо бы уточнить
Ga
То есть получил сразу отдал клиенту и просто дописываешь в стрим
Kolya
А почему память копится, если нет потоковой записи?
Ga
Она пишется в оперативу Серва сначала
Ga
А потом отдаётся клиенту, как все выполнено и получено
Ga
Я просто не знаю что у тебя там и как. Но хорошая оптимизация - писать клиенту в ответ потоком, тем самым память серва не будет заполняться, а сразу на клиент отдаваться
Ga
Но на чем виснет? На отдачи или получении?
Kolya
Т.е. ты хочешь сказать, что это выглядит так: Есть сервер с базой, с 20 милн строк. Мы с другого сервера отправляем запрос в базу. Он все данные подгружает к нам в память, обрабатывает их, и не нужно убирает, возвращая нам 4 млн ? Вряд ли так работает. Все расчеты выполняются на сервере с базой, куда отправили запрос. Я лишь сижу и жду когда выполнится запрос и придут данные уже обработанные данные. И вот в момент выполнения запроса на том сервере у меня копится память
Ga
Я расскажу как сценарий работает на базовом примере. Например, есть метод для получения 1000000 записей из бд. при обращении к бд без стрима, сначала все они запишутся в память и только как будет получена последняя запись, отдаться клиенту ответ и память будет очищена
Ga
А ты только после получения их обрабатываешь?
Kolya
А ты только после получения их обрабатываешь?
Да, у меня статистические показатели высчитываются. Мне в любом случае все данные нужны
Ga
Просто не знаю как у тебя построена логика
Ga
Есть такая штука yield
Kolya
Знаю
Ga
Генераторы
Kolya
Он не подойдет
Ga
А часто эту процедуру используете?
Ga
Возможно стоит смириться, тк при оптимизациях будет страдать уже проц
Kolya
Схема проста. Если считаем данные с 01.05 по 01.10, то, отправляем запрос в базу с дата = 01.05, получили данные, обработали, отобразили клиенту, отправили запрос дата = 01.06, обработали, отобразили клиенту. Там графики по дням строятся в динамике.
Kolya
А часто эту процедуру используете?
Ну сколько запросов пойдет, столько раз и используем
Ga
Там же есть обработка по условию?
Ga
Именно условия с полученными данными из бд
Kolya
Туда каждый раз новый запрос отправляется. И пока выполняется запрос, то накапливается память. Как только он закончил и вернул данные, память сразу падает. Т.е. всегда съедается какая-то память
Kolya
Там же есть обработка по условию?
Да, конечно. Я же говорил, что в итоге датафрейм занимает 150мб
Ga
Почему yield(генераторы) не подходят?
Ga
И запись полученных данных в стрим
Ga
Тем самым память не будет забиваться и сразу клиенту в response фигачить
Ga
Просто контекста мало, что с полученными данными из бд происходит( как они обрабатываются)
Ga
А съедается память, потому что клиент ждёт ответа(скорее всего), а чтобы он его получил сервак сначала подготавливает данные
Kolya
Плохо понимаю как я их запишу в стрим. У меня запрос идет дата=01.05. Я жду пока все данные получу, я до запроса с дата=01.06, еще даже блзко не подобрался. Мне нужно дождаться данных с дата 01.05. Вот я сижу жду их, они собираются совсем на другом сервере(даже нескольких серверах). И только после того как они все придут, то я смогу их у себя обработать, высчитать необходимые метрики и показатели, и после отобразить эти метрики и показатели клиенту