dev
ну тут как тебе угодно)
мде, через notify аж 3.9% CPU жрёт не, ресурсы поберегу)
dev
ps auxw
Anonymous
ps auxw
Ну хз, можно оптимизировать, но это нормально как ты пишешь там тысячи строк
dev
Нет. А должен?
дак вроде ж GIL и все дела
dev
а, ты про линуксовый, думал про питон
dev
а зачем его закрывать?
ну чтобы туда софтина, сами логи пишущая, тоже могла писать
dev
вот одна консоль [admin@n1 bb]$ touch testfile [admin@n1 bb]$ python3 Python 3.6.8 (default, Apr 2 2020, 13:34:55) [GCC 4.8.5 20150623 (Red Hat 4.8.5-39)] on linux Type "help", "copyright", "credits" or "license" for more information. >>> f = open('testfile','r') >>> data=f.read() >>> data=f.read() >>> data=f.read() >>> data=f.read() >>> data=f.read()
dev
[admin@n1 bb]$ python3 Python 3.6.8 (default, Apr 2 2020, 13:34:55) [GCC 4.8.5 20150623 (Red Hat 4.8.5-39)] on linux Type "help", "copyright", "credits" or "license" for more information. >>> f = open('testfile','a') >>> f.write('blablabla') 9 >>> f.close() вот вторая
dev
f.read() не прочитал ни фига
asce
fsync
asce
f.write … f.flush()
asce
write не гарантирует записи в файл
dev
f.flush не помогло
dev
>>> f.close() >>> f = open('testfile','a') >>> f.write('blablabla') 9 >>> f.flush() >>> f.close()
dev
>>> f.read() ''
dev
в другой консоли ессно
dev
хм, а так сработало [admin@n1 bb]$ echo "blablabla\n" >> testfile
dev
но, тех моих предыдщих блаблаблей нету!
asce
f.flush не помогло
странно у меня норм работает
dev
хотя попробовал сейчас открыть сам лог софтины напрмую, и вроде всё норм >>> f = open('/mnt/ansys-data/Solve/calc1/fluent-20201119-220946-72549.trn','r') >>> data=f.readlines() >>> len(data) 156091 >>> data=f.readlines() >>> len(data) 12 >>> data=f.readlines() >>> len(data) 15
dev
вот жеж! давно надо было проверить)) правда я боялся завалить расчёт, там он сутками считает (на 196 ядрах!!), и обидно было бы пару суток просрать из-за такого теста)
dev
ну это отличные новости) пошёл переделывать всё)
dev
это да! и уже про aiofiles даже начал читать))
Anonymous
это да! и уже про aiofiles даже начал читать))
как вариант еще почитал про uvloop и libuv, может пригодится
dev
до них не дошёл пока)
dev
Если вкратце, то uvloop работает примерно в 2 раза быстрее Node.js и практически не уступает программам на Go. уже интересно
dev
крутая штука похоже, для очередей заданий например
Vadzim
всем привет) Никто не знает, может ли нумба ускорять функции scipy?
Vadzim
Понял, просто у меня функция scipy.sparse.linalg.spsolve() отрабатывает очень медленно. Не знаю, что делать. Нужно, наверное, искать аналог на numpy, может быть видели?
Vadzim
А размерность какая?
Всегда по-разному, но обычно очень большая. Обычно эта функция отрабатывает за 10-15 секунд
Denis
да вряд ли это поможет
Смотря какая точность решения нужна
Omodamos
Привет) объясните плиз, есть питонячие БД (tinydb, pickleDB), которые хвалятся тем что они на чистом питоне. Зачем их использовать, если под капотом у них JSON и синтаксический сахар? Или я не понимаю про них ничего?
Владимир
Понял, просто у меня функция scipy.sparse.linalg.spsolve() отрабатывает очень медленно. Не знаю, что делать. Нужно, наверное, искать аналог на numpy, может быть видели?
Может лучше пример какой нибудь сгенерируешь с кодом чтобы вот тоже неоправданно долго работал? А то так только гадать остается
Omodamos
Значит я все правильно понял))) @idAndrey, @Tishka17 Спасибо)
Tishka17
Значит я все правильно понял))) @idAndrey, @Tishka17 Спасибо)
Ну если сравнивать с записью жсона в файл, то они дадут тебе хоть какие-то гарантии целостности
Omodamos
Ну если сравнивать с записью жсона в файл, то они дадут тебе хоть какие-то гарантии целостности
я так понимаю это когда несколько пишут в один файл? ОС не гарантирует целостность файла?
Tishka17
я так понимаю это когда несколько пишут в один файл? ОС не гарантирует целостность файла?
Не только. Когда ты упал в процессе записи, старые данные потерялись, а новые записались частично
Vadzim
Может лучше пример какой нибудь сгенерируешь с кодом чтобы вот тоже неоправданно долго работал? А то так только гадать остается
Ab = scipy.sparse.coo_matrix((Sb, (Ib, Jb)), shape=(numRowsInA, alls)) Ag = scipy.sparse.coo_matrix((Sg, (Ig, Jg)), shape=(numRowsInA, alls)) Ar = scipy.sparse.coo_matrix((Sr, (Ir, Jr)), shape=(numRowsInA, alls)) Ab = Ab.tocsc() Ag = Ag.tocsc() Ar = Ar.tocsc() Rb = scipy.sparse.linalg.spsolve(Ab, Bb) Rg = scipy.sparse.linalg.spsolve(Ag, Bg) Rr = scipy.sparse.linalg.spsolve(Ar, Br)
Vadzim
Ib, Jb и тд имеют тип numpy.ndarray
Vadzim
А может можно параллелизовать?
думаю, что нужно это попробывать, спасибо за идею)
Vadzim
А может можно параллелизовать?
multiprocessing же ты имел ввиду?
Tishka17
multiprocessing же ты имел ввиду?
Нет, я имел ввиду встроенные возможности либы.
Tishka17
Но может и мультипроцессинг и даже мультитрединг прокатит для каких-то мест
Vadzim
понял, сейчас буду пробывать
Vadzim
А вообще, если cpu заменить на более лучший, то во сколько раз возможно получить производительность?
Denis
Тут gpu можно привлечь
Vadzim
Тут gpu можно привлечь
я пытался перенести вычисления на gpu с помощью pycuda, но у меня есть проблемы с си
Vadzim
От 1 до бесконечности
а есть какие-нибудь тесты может быть?
dev
От 1 до бесконечности
от 0.0001 до 1 тоже не стоит отбрасывать ;)
Denis
я пытался перенести вычисления на gpu с помощью pycuda, но у меня есть проблемы с си
Посмотри в сторону готовых библиотек, мб cusparse такое умеет
dev
ну это если заменить на никакой)
Anna
#работа #офис #СПБ Привет! Меня зовут Аня, я HR в Orca. Мы - инвестиционный стартап, делаем мобильное приложение для простого доступа к фондовым рынкам в UK, а далее и других европейских странах. Это не про трейдинг, приложение именно об инвестициях, никакой маржиналки) Проект в стадии Альфа-теста, Бета начнется через 1-2 недели, и примерно через месяц пройдет полноценный релиз. Сейчас мы в поисках лида небольшой команды питонистов (2 чел), который любит писать код руками. Что ты будешь делать в нашем проекте: 🔹реализовывать бизнес-логику приложений (Backoffice, CRM, Support); 🔹разрабатывать API для мобильных приложений; 🔹управлять командой из 2-х человек; 🔹участвовать в принятии архитектурных решений; развивать CI/CD. Стек: Python 3.8 Django aiohttp postgresql kafka RabbitMQ Docker celery Работа в вофисе в Питере. С релокейтом поможем. Вилка по зп от 230.000, все обсуждаемо, стандартные айтишные бонусы тоже в наличии)
Tishka17
Тогда скалапак отпадает