Зигохистоморфный
ты хочешь иметь такое? [(Int, Structure)] где Int тут уровень вложенности
Ilya
Да
Cheese
node-depth-дерево?
Ilya
node-depth-дерево?
Не знаю, что это, но любое дерево вряд ли подойдет для того, что я делаю дальше (оцениваю их похожесть). Со списком или IntMap [Structure] это ясно, как сделать
Cheese
node-depth — это представление дерева в виде [(depth :: Int, Node)]
Ilya
node-depth — это представление дерева в виде [(depth :: Int, Node)]
Как я понимаю, надо такое самому реализовать? Не вижу пока нигде готового решения
Cheese
преобразование из дерева в такой список?
Ilya
преобразование из дерева в такой список?
Да, но у меня не просто дерево. Там результат парсинга aeson, т. е. чтобы дочерние ноды достать (которых может и не быть), надо сначала попытаться прочитать текущую ноду
Cheese
тогда придётся самому
Зигохистоморфный
преобразование из дерева в такой список?
а что разве для дерева такое есть?
Зигохистоморфный
уже готовое
Cheese
Зигохистоморфный
деревья разные бывают
ну вот для розового дерева
Cheese
для любого дерева наверняка можно через plated с протаскиванием глубины через indexed
Cheese
ну вот для розового дерева
а само розовое дерево есть готовое?
Зигохистоморфный
Зигохистоморфный
Data.Tree
Cheese
уже готовое
врядли. про node-depth вообще почти никто не знает, хотя это очень простая структура
Ilya
Так. А ведь тут https://hackage.haskell.org/package/lens-aeson-1.1/docs/src/Data.Aeson.Lens.html#_Object HashMap используется именно для ключей объекта и их значений. Но мне-то важен не порядок ключей. А порядок элементов в массиве, который как раз является значением ключа. В массиве-то порядок, наверное, сохраняется? И если взять toListOf (cosmos . filtered filterFn . _Object), то результат будет детерминирован?
Зигохистоморфный
такс, дерево с глубиной это было бы так? cotree :: Cofree Array Int cotree = 1 :< [ 2 :< [ 4 :< [ 5 :< [ 6 :< [ 7 :< [] ] ] ] ] , 3 :< [ 40 :< [] , 50 :< [] ] ] (Tuple 1 6) | +- (Tuple 2 5) | | | `- (Tuple 4 4) | | | `- (Tuple 5 3) | | | `- (Tuple 6 2) | | | `- (Tuple 7 1) | `- (Tuple 3 2) | +- (Tuple 40 1) | `- (Tuple 50 1)
Зигохистоморфный
у корня глубина 6
Ilya
А если порядок на самом деле сохраняется, то и вообще можно иначе сделать 🤔
Егор
Здравствуйте. Нубский вопрос: может ли произойти стак оверфлов с функциями типа map? В хаскеле вообще есть стак оверфлов?
Leonid 🦇
есть, с map :: (a -> b) -> [a] -> [b] маловероятно, только если в (a -> b)
Alexander
foldPrelude> foldr (+) 0 [1..10000000000000000] *** Exception: stack overflow
Alexander
Но это чисто RTS можно и отключить
A64m
Здравствуйте. Нубский вопрос: может ли произойти стак оверфлов с функциями типа map? В хаскеле вообще есть стак оверфлов?
с функциями типа map - нет, с функциями типа свертка строгим оператором - по желанию, стек по умолчанию очень большой (80% памяти на машине), но его можно сделать меньше
Cheese
а что разве для дерева такое есть?
теперь есть https://gist.github.com/cblp/3cc3c3adfe899a4e2d9924679403140d
Зигохистоморфный
теперь есть https://gist.github.com/cblp/3cc3c3adfe899a4e2d9924679403140d
хех) я первую часть написал) но потом забил depthWithFlat :: T.Tree a -> [(Int, a)] depthWithFlat = cata alg where alg :: CCTC.CofreeF [] a [(Int, a)] -> [(Int, a)] alg (a CCTC.:< wa) = (0, a) : foldMap (fmap (first succ)) wa
Ilya
Я тут пообщался с товарищами. Оказывается, все уже готово. Но у меня тут топорные эвристики, а тут https://arxiv.org/abs/1803.09473 ML моделька. И они не только похожесть определяют так, а еще и комбинации и аналогичные отношения пар
Ilya
Тоже векторное представление функций используют, кстати
Nikita
И векторное представление там не у функций, а у листьев АСТ и их взаиморасположения
Ilya
А какая оригинальная задача была? Эта моделька не очень гибкая, её в реализации обучают только для предсказывания названия функции
Может она не гибкая, но как классно она комбинирует и находит аналогии) По крайней мере, в их примерах. Моя задача в том, чтобы эвристически оценивать похожесть пары функций
Nikita
Может она не гибкая, но как классно она комбинирует и находит аналогии) По крайней мере, в их примерах. Моя задача в том, чтобы эвристически оценивать похожесть пары функций
Тогда подходит, да. Но примеры аналогий я бы не брал за чистую монету. В практике МЛ такие примеры являются просто хорошо подобранной парой, такие результаты далеко не всегда распространяются на другие пары
Nikita
Может и так, но на первый взгляд это не рандом ребята, вряд ли они переобучились. Да и сет большой
Это не связано с переобучением, просто ценные свойства эмбеддингов связаны не с аналогиями
Nikita
Что тут имеется в виду под эмбеддингами?
Эмбеддинг – векторное (N чисел от 0 до 1) представление дискретных сущностей (литералов)
Ilya
Эмбеддинг – векторное (N чисел от 0 до 1) представление дискретных сущностей (литералов)
Тогда я не понял, почему нет связи с аналогиями. Машинка-то их находит (может, только в некоторых случаях, но все же)
Ilya
Вместо метрики, которую использовал раньше, сделал cosine similarity. Но что-то результаты не очень понравились, прошлая была лучше. Видимо, придется все-таки глубину учитывать
𝙽𝚒𝚌𝚔
Подскажите, какое внутреннее представление у Array (который runSTArray)? Это непрерывный массив ссылок, правильно я понимаю (аналог ArrayList в джаве)?
Cheese
лучше брать vector
𝙽𝚒𝚌𝚔
лучше брать vector
Vector это же дерево небольших массивов, он довольно дорог для частых апдейтов, нет?
𝙽𝚒𝚌𝚔
Да, я понял, в случае одиночных апдейтов будет скопирован весь массив, а вектор переиспользует свои кусочки.
𝙽𝚒𝚌𝚔
Спасибо.
Yan
Сегодня на митапе по js жена восхищалась докладом @ybogomolov, жаль не смог попасть -.-
Зигохистоморфный
о чем?
Yuriy
о чем?
Да про тайплевел на TS.
A64m
Vector это же дерево небольших массивов, он довольно дорог для частых апдейтов, нет?
vector - это много всего, но не дерево небольших массивов точно, и чаще всего именно что массив
A64m
вернее range - массив + инты определяющие часть массива
Kirill
Что конкретно значит констрейнт "^>=" для версий пакетов? Только мажорные части значащие?
Kirill
Точнее, типа, от указанной версии до ближайшей мажорной, не включая. Оно одинаково работает для pvp и semver?
Dmitrii
Что конкретно значит констрейнт "^>=" для версий пакетов? Только мажорные части значащие?
^>= A.B.C.D это просто синтаксический сахар для >= A.B.C.D && < A.(B+1) По сути он ограничивает пакет от нижней указанной границы до следующей, потенциально ломающей обратную совместимость. Рассчитано на PvP
𝙽𝚒𝚌𝚔
не вижу кусочков в его коде
Да я подумал, что как в скале. А в Хаскеле это обёртка над Array оказывается.
Dmitrii
А ^>= A.B.C — это, получается, >= A.B.C && < (A+1).0.0?
Оператор ^>= затрагивает только вторую компоненту версии. Поэтому ^>= A.B.C будет >= A.B.C && < A.(B+1). Идеология и тулинг вокруг Haskell рассчитаны на PvP
𝙽𝚒𝚌𝚔
не вижу кусочков в его коде
Кстати, это же и означает, что если я сконструирую матрицу Vector (Vector Float), поменяю 1 элемент, то будет скопирована вся матрица. Так?
Kirill
Оператор ^>= затрагивает только вторую компоненту версии. Поэтому ^>= A.B.C будет >= A.B.C && < A.(B+1). Идеология и тулинг вокруг Haskell рассчитаны на PvP
К сожалению, семверовских пакетов хватает на хакадже. Неинтуитивное поведение получается. Но ладно, главное знать. Спасибо!
Cheese
Да я подумал, что как в скале. А в Хаскеле это обёртка над Array оказывается.
там несколько вариантов, в том числе обёртка над Array
𝙽𝚒𝚌𝚔
нет
дат. data Vector a = Vector {-# UNPACK #-} !Int {-# UNPACK #-} !Int {-# UNPACK #-} !(Array a) deriving ( Typeable )
𝙽𝚒𝚌𝚔
ну это один из, согласен
Alexander
ну это один из, согласен
Сказано "нет" - значит "нет"
𝙽𝚒𝚌𝚔
A64m
Кстати, это же и означает, что если я сконструирую матрицу Vector (Vector Float), поменяю 1 элемент, то будет скопирована вся матрица. Так?
в данном случае два массива строка(столбец) и массив строк(столбцов) скопируются, остальные строки останутся те же
Alexander
а что у нас есть для угадывания или пробования кодировок?
Alexander
чтобы старое доброе cp1251 пытаться прочитать, если как utf8 не распарсилось
Alexander
или просто для перевода из cp1251, желательно не тащащее пол иконва