Anonymous
ну для лабы надо, для тестирования алгоритмов сортировки. инфу беру из рандома, 50 раз для 1млн в гугл коллаб выходит около пяти минут — генерация, сортировка.
Andrey
Ок, а если с другой стороны подойти к вопросу. Как питон работает с большими данными? Может ли, к примеру, какая-то библиотека вроде pandas/numpy помочь мне получить ответ в этой задаче за вменяемое кол-во времени?
В этой задаче проблема не в больших данных, а в вычислительной сложности функции Эйлера. pandas и numpy никак в этом не помогут, там вроде в принципе не очень много теоретико-числовых алгоритмов
Anonymous
Ну и там вроде кроме серча ещё что-то было подешевле
я нашел только запрос на увеличение квоты и они просят кучу данных по проекту, а я это вообще для себя делаю, а не для компании) https://support.google.com/youtube/contact/yt_api_form?hl=en-GB
ИВ
В этой задаче проблема не в больших данных, а в вычислительной сложности функции Эйлера. pandas и numpy никак в этом не помогут, там вроде в принципе не очень много теоретико-числовых алгоритмов
вычислительная сложность это О(n)? если так, то поможет ли мне изучение алгоритмов (к примеру, для решения конкретно этой задачи)? или только использование компилируемых ЯП?
Scott
Привет. Использую numpy большую матрицу (1024 элемента) Если я умножаю матрицу на 2 и делю на 2, матрица остаётся такой же. Но если я умножаю на 10+ и делю на столько же, то матрица меняется. Как это возможно и сталкивался ли кто-то с этим?
Scott
Сейчас
Scott
https://pastebin.com/qi1nr4Fb [Ссылка] [-193 -203 -232 ... -179 -139 -138] [ 41 31 2 ... 55 -22 -21] - Pastebin.com https://pastebin.com/qi1nr4Fb
Scott
https://pastebin.com/hGKCytnz
Scott
Вот код
ssv
Вот код
у тебя там целочисленное деление
Scott
Так
Scott
Так если я умножаю на число и делю на число, получится прошлое число)
Try
😅
Scott
Мы вначале умножаем)
Scott
Приведи пример где вначале умножаем, потом делим и будут разные результаты пожалуйста
Вадим
У тебя там int16. Точно нет переполнения при умножении на 560?
Scott
Даже инт64 не исправил ситуацию(
Вадим
А есть минимальный неработающий пример? Чтоб запустить и увидеть проблему?
Scott
Сейчас
Вадим
А, всё, я заметил первую ссылку с числами.
Вадим
Это переполнение.
Scott
https://pastebin.com/Qh6J9yZD Код. Если изменить значение 244 на 2, то все работает
Scott
А если оставить, матрицы разные
Scott
Я могу побольше примеров скинуть
Вадим
Например, у тебя -193 превращается в 41. У int16 диапазон -32768..32767. А -193*560 = -108080. Вот и появляется переполнение.
Вадим
Я про первую ссылку.
Scott
Но инт32 не исправляет ситуацию, они все равно разные
Вадим
Там переполнение, согласен?
ssv
Там переполнение, согласен?
https://pastebin.com/cYrWwF2Z переполнение чего?
ssv
ты умножаешь инт 16 на число и записываешь в инт32
Вадим
Посмотрел оба варианта кода, нигде int32 не увидел.
Вадим
Вадим
У тебя такого нет
Scott
Да не, я у себя сменил на инт32
Scott
И числа все равно разные
Вадим
b = a*560
Если a имеет тип int16, то и b будет int16
Вадим
Это откуда такой код?
ssv
Это откуда такой код?
https://pastenow.ru/5f914f2fde8d1d11ca4484c0e6a28836 это я написал
Scott
Сейчас я скину что получил
Scott
https://pastebin.com/AFwVcA5R
Scott
Вначале код, внизу то что вывел
Вадим
Если просто умножить int16 на число, будет int16
Вадим
Блин. Ну ты неправильно делаешь. У тебя всё равно переполнение.
Вадим
У тебя int32 стоит у fromstring
Scott
Так... А где ещё должно?
Вадим
Он не читает по байту, а потом конвертирует в int32. Он читает по 4 байта!
ssv
Блин. Ну ты неправильно делаешь. У тебя всё равно переполнение.
https://pastenow.ru/a8d2dfc9e4bc79267e3fdeaba9da0f4e точняк, переполнение
Вадим
Когда ты ставишь int16, он читает по 2 байта.
Вадим
Когда int8 — по одному.
Scott
Так, и что нужно сделать?..
Вадим
То есть, это уже ошибка, так как формат-то у тебя для фиксированного размера
Вадим
В итоге, когда ты читаешь по 4 байта, у тебя всё равно образуются большие числа и при умножении будет переполнение
Вадим
Так, и что нужно сделать?..
Читай по столько байт, сколько требует формат. А преобразуй отдельно.
Вадим
Через .astype(np.int32)
Вадим
Но я бы ещё подумал, а зачем умножать, а потом делить.
Scott
Типо шифрования
Вадим
Ну и, возможно, лучше со float работать, а потом обратно в int перегнать.
Scott
Ну в разных местах все это будет
Вадим
Ты хочешь аудиопоток зашифровать?
Scott
Да
Scott
Я подумал переводить в матрицу, какие то действия с ней производить и обратно в байты
Вадим
Это очень слабое шифрование
Вадим
Возьми PyNaCl
Вадим
Там стойкие шифры
Scott
Спасибо)
Tishka17
При чём тут na cl?
Вадим
При чём тут na cl?
PyNaCl — это библиотека для шифрования