Artem
из pickle считывать по кускам
Anonymous
чот странна если так
Alex
вообще это как минимум странно что при получении длины программа вываливается
Daniil
len(lst) за константу работает
Alex
то есть если ты его уже в память загрузил, print \ len не должны вызывать массовую аллокацию памяти.
Tishka17
Мне кажется, без паттерн-матчинга будет намного сложнее 🤷‍♂️
Без паттерн матчинга получается более явная логика
Tishka17
поподробнее можно почитать про модуль pickle
Прочитать про пикл и никогда не юзать его
Anonymous
да кто такой этот ваш паттерн матчинг
Alex
а чего с ним не так?
он небезопасен непереносим
Tishka17
а чего с ним не так?
Примерно всё, если его юзать не для IPC
Daniil
питон не идет по списку, чтобы посчитать его длину и ничего не выделяет
Alex
pickle не должен покидать дерево твоих процессов
Ricle ✙ 🍉
А это точно лист?
Сначала это itertools обьект, который я превращаю в list
Alex
На чанки розбивать?
сначала локализовать проблему
Tishka17
Сначала это itertools обьект, который я превращаю в list
Звучит как будто ты уже делаешь что-то не то
Alex
питон не идет по списку, чтобы посчитать его длину и ничего не выделяет
может быть удивлю, но например подсчет длины связного списка полным его проходом ничем не отличается ассимптотикой по памяти.
Daniil
да, я в курсе
Ricle ✙ 🍉
Для себя, потому-что раньше там был for который по этому объекту проходился, и заполнял данные в другом списке , и было тоже самое
Alex
да, я в курсе
поэтому твоя ремарка о том что len работает за O(1) неуместна.
Ricle ✙ 🍉
Иии, я должен его исправлять
Ricle ✙ 🍉
Да, ок
Anonymous
обычно заводят переменную length и меняют во время операции вставки/удаления..
Alex
обычно заводят переменную length и меняют во время операции вставки/удаления..
списки бывают разные. затем что у тебя может быть указатель на начало и признак конца.
Alex
но это уже совсем уходит в сторону от изначального вопроса
Julian 🏳️‍🌈
Так в питоне лист это тупо вектор из C++
Aragaer
нет
Alex
Tishka17
Так в питоне лист это тупо вектор из C++
Тут про абстрактный список речь уже
Tishka17
Вектор из shared_ptr
Julian 🏳️‍🌈
вектор указателей скорее
Ну один черт у него есть длина
Ricle ✙ 🍉
нет
def combinator(wordlist, nWords): new_wordlist = wordlist[:] # I need copy to use itertools properly wlist_combined = itertools.permutations(new_wordlist, nWords) for combination in wlist_combined: new_wordlist.append(''.join(combination)) return list(set(new_wordlist)) Эта функция стоит весь проект, она предназначена для комбинации слов, ей передают список с словами(wordlist) и количество для комбинации(nWords).
Сзетт
извините я новичок лучше использовать + или , какое различие? например print("hdh" , 12); и что использовать?
Ricle ✙ 🍉
случайно reply сделал
Alex
извините я новичок лучше использовать + или , какое различие? например print("hdh" , 12); и что использовать?
ну + в этом примере у тебя работать не будет. потому что нельзя просто так складывать строки и числа.
Georgiy
Без паттерн матчинга получается более явная логика
Не совсем понял. Я имел ввиду, что на языках с поддержкой АТД и паттерн-матчинга проще работать со структурами данных, используемых в IR. Скажем, AST легко представить в виде типа-суммы, который содержит поддерживаемые синтаксические конструкции. И потом, в процессе его обработки, паттерн-матчинг *сильно* упрощает жизнь, особенно при рефакторинге. Так после изменения структуры AST, компилятор отлавливает ошибки, и некорректный код просто не соберется. (но я ни в коем случае не против использования пайтона, просто конкретно эту задачу проще решить на ML)
Alex
5 + 10.1
Julian 🏳️‍🌈
извините я новичок лучше использовать + или , какое различие? например print("hdh" , 12); и что использовать?
Если ты используешь запятую, то можно передать print-y параметр sep и управлять форматом вывода. А если + то это просто конкатенация строк (12 это число, а не строка)
Ricle ✙ 🍉
А какая ошибка?
если я передаю список который содержит 80 различных слов и nWords=4, то функция просто стопит
Julian 🏳️‍🌈
Ну она же должна выдать какой-то трейсбек
Ricle ✙ 🍉
Убито
Ricle ✙ 🍉
и происходит выход
Alex
Ну она же должна выдать какой-то трейсбек
если ее прибивает OOM то никакого трейсбека не будет
Julian 🏳️‍🌈
Вот примерно столько ОЗУ тебе надо
Ricle ✙ 🍉
найс
Julian 🏳️‍🌈
Знаешь шо такое генераторы?
Julian 🏳️‍🌈
Хотя с таким количеством они не помогут
Ricle ✙ 🍉
это функции в которых yield?
Julian 🏳️‍🌈
Ну типо да
Julian 🏳️‍🌈
Обьект, который можно считывать по кусочкам
Julian 🏳️‍🌈
Когда ты от него делаешь list() он вываливает все в память ну а памяти надо просто очень много
Julian 🏳️‍🌈
В общем, надо менять алгоритм, ибо permutations это просто дичайшее количество получится
Ricle ✙ 🍉
++
Alex
Посчитай факториал от 80
там не 80!, а 80! / (80 - 4)!
Alex
это все равно дофига
Aragaer
неа
Julian 🏳️‍🌈
Да?🤔
Aragaer
это 77*78*79*80
Ricle ✙ 🍉
надо чтобы с ростом количества слов, не росло потребление памяти 🤔
Alex
неа
это оно и есть
Alex
k-permutations of n