Добрый вечер, может кто-нибудь помочь?

Записываю из питона в мускул список размерностью 130.000 на 100 в 1 запрос. По замеру времени на это уходит 3-4 минуты, из них 30-50сек выполнение запроса в бд, остальное где-то в питоне остаётся. Это нормальное время или где-то набыдлокодил? Возможно ускориться? Бд локальная, ноут 8Гб ОЗУ проц A12 2.7ГГц.

Записываю из питона в мускул список размерностью 130.000 на 100 в 1 запрос. По замеру времени на это уходит 3-4 минуты, из них 30-50сек выполнение запроса в бд, остальное где-то в питоне остаётся. Это нормальное время или где-то набыдлокодил? Возможно ускориться? Бд локальная, ноут 8Гб ОЗУ проц A12 2.7ГГц.

4 минуты прям долго

Записываю из питона в мускул список размерностью 130.000 на 100 в 1 запрос. По замеру времени на это уходит 3-4 минуты, из них 30-50сек выполнение запроса в бд, остальное где-то в питоне остаётся. Это нормальное время или где-то набыдлокодил? Возможно ускориться? Бд локальная, ноут 8Гб ОЗУ проц A12 2.7ГГц.

А время на пересылку данных ты посчитал?

100 колонок?

Вы там упоролись?

И вообще, ну подумаешь 4 минуты. Чего такого

100 колонок?

Да

И вообще, ну подумаешь 4 минуты. Чего такого

У меня таких ещё около 1000 архивов на запись

У меня таких ещё около 1000 архивов на запись

О_о

А зачем питоном?

Записываю из питона в мускул список размерностью 130.000 на 100 в 1 запрос. По замеру времени на это уходит 3-4 минуты, из них 30-50сек выполнение запроса в бд, остальное где-то в питоне остаётся. Это нормальное время или где-то набыдлокодил? Возможно ускориться? Бд локальная, ноут 8Гб ОЗУ проц A12 2.7ГГц.

Ты же батчами вставляешь?

Индекс и констрейнты, кстати можно выключить на момент вставки, потом включить

Плюс попробуй в несколько потоков

А время на пересылку данных ты посчитал?

С момента начала конфигурирования подключения до начала выполнения запроса в бд 2-3.5 минуты. Как более точно засечь время пересылки не знаю.

Хз как ты даже это замерил

Записываю из питона в мускул список размерностью 130.000 на 100 в 1 запрос. По замеру времени на это уходит 3-4 минуты, из них 30-50сек выполнение запроса в бд, остальное где-то в питоне остаётся. Это нормальное время или где-то набыдлокодил? Возможно ускориться? Бд локальная, ноут 8Гб ОЗУ проц A12 2.7ГГц.

Я не на питоне пишу, но такое было нормально лет эдак 15 назад

4 минуты на один запрос? Ты прикалываешься)) Возьми метаданные, разбей на чанки, спехни ключевые параметры в буфер, выстрой очередь событий и пересылай кусками

Я за 4 минуты могу фильм из сети выгрузить, а ты про выборку говоришь с одной ноды

Ребят а как символы через For выводить?

Это типа делается так:?

Ascii таблица, а зачем?)

Перебери таким алгоритмом современные кодировки)))

Акуеешь

utf8mb4_unicode_ci

перебери алгоритмом)

тут ещё и ограничитель стоит

сори не заметил что это учебное, может и правильно конечно, но тогда отсортируй в порядке Aa Bb, так было бы интереснее

Сейчас попробую

подскажу

используй смещение

иначе говоря дискриптор

1 2 3 4 5 6 7 8 | | a a + 4

на телефоне съезжает, палка под 5 если что

кто шарит в пепах, поднималась ли такая идея как анонимные namedtuple? как пример синтаксиса (x=1, y=2)

Здравствуйте , у кого нибудь есть данная книга в pdf ,head first python pdf на русском

кто шарит в пепах, поднималась ли такая идея как анонимные namedtuple? как пример синтаксиса (x=1, y=2)

Это называется дикт)

к сожалению мне нужны именно туплы чтобы не ломать апи

может, апи переписать?

к сожалению мне нужны именно туплы чтобы не ломать апи

Обертку над туплом напиши

пока что придумал так. есть ли какие-то подводные камни? def Tuple(**kwargs): keys, values = zip(*kwargs.items()) return namedtuple('Tuple', keys)(*values) свои соображения можно писать сюда https://github.com/ethereum/web3.py/pull/1353

может, апи переписать?

это паблик апи, не вариант ломать, а фича полезная

подскажите пожалуйста как мне вернуть матрицу, получив строку чисел?

file = open("alldata.csv", "a") file.seek(0, 0) file.write(header + "\n") file.close()

почему это е добавляет строку, а заменяет весь текст?

Потому что так работают файлы, в них нет никаких строк, только байты.

Строки - абстракция, а ты на низком уровне переставляешь указатель на нулевой байт

ERROR: S client not available

Абстракция более высокого уровня не знает о том, что ты делаешь на более низких слоях и просто пишет в файл

пока что придумал так. есть ли какие-то подводные камни? def Tuple(**kwargs): keys, values = zip(*kwargs.items()) return namedtuple('Tuple', keys)(*values) свои соображения можно писать сюда https://github.com/ethereum/web3.py/pull/1353

У тебя все типы будут называться одинаково? При отладке очень удобно, ага

Скиньте пожалуйста хорошие материалы про многопоточность в python3, или просто про многопоточность

У тебя все типы будут называться одинаково? При отладке очень удобно, ага

Может мы чего-то не знаем

Скиньте пожалуйста хорошие материалы про многопоточность в python3, или просто про многопоточность

https://docs.python.org/3/library/threading.html

Если я запускаю ещё один поток в программе, его обязательно будет выполнять новое ядро?

https://docs.python.org/3/library/threading.html

Да не доки, а что то фундаментальное

https://www.oreilly.com/library/view/advanced-linux-programming/0735710430/

Если я запускаю ещё один поток в программе, его обязательно будет выполнять новое ядро?

Нет

Если я запускаю ещё один поток в программе, его обязательно будет выполнять новое ядро?

нет

Вообще даже когда один поток не известно какое ядро будет его выполнять

верней в общем случае его может выполнять любое ядро

и даже не одно и то же в процессе его жизни

верней в общем случае его может выполнять любое ядро

А кто решает?

Ос?

планировщик ядра

разве что ты настроишь аффинити

https://www.amazon.com/Linux-System-Programming-Talking-Directly/dp/1449339530

планировщик ядра

А из-за GIL использование потоков бывает бессмысленно?

А из-за GIL использование потоков бывает бессмысленно?

Смотря что делаешь

А из-за GIL использование потоков бывает бессмысленно?

бывает, но далеко не всегда

зависит от задачи

статей о том как именно работает GIL в питоне в интернете как грязи. найди, почитай и разберись.

https://asvetlov.blogspot.com/2011/07/gil.html