откуда-то это из файл кэша. А туда он попадет все равно тем же пэйджфолтом

я к тому каким механизмом в ядро переключается

может это влиять на перформанс или нет

а ну да.

MAP_POPULATE (since Linux 2.5.46) Populate (prefault) page tables for a mapping. For a file mapping, this causes read-ahead on the file. This will help to reduce blocking on page faults later. MAP_POPULATE is supported for private mappings only since Linux 2.6.23.

думаю, должно помочь

в любом случае, если уже скорость сисколов мерять начинают, то что это за замеры перформанса ЯП?

все спецолимпиады об этом

https://plus.google.com/+LinusTorvalds/posts/YDKRFDwHwr6

в общем интел подосрал

https://twitter.com/freebroccolo/status/958699727498833921

подождите-ка но ведь недостатки тайпклассов признавались и 20 лет назад и сейчас признаются.

другое дело, что использовать эмельные модули для того для чего тайпклассы используются неудобно да и не делает этого никто, для этого в эмелях специальные костыли - перегруженная арифметика и сравниваемые типы в смл и динамическое сравнение как в прости господи руби каком-нибудь в окамле

сейчас нету даже игрушечного языка в котором для всех тех целей, для каких в расте используются "тайпклассы" и в хаскеле тайпклассы, используются эмельные модули. Т.е. предполагается что авторы раста должны были такой эксперимент на своем языке поставить, чумовая идея, конечно

он в принципе их ненавидит, за то что не макквинные они

и не то что бы их не за что ненавидеть, и не то чтобы эмельные модули не нужны, но он предполагает что лучше бы было, если бы вместо "трейтов" в расте была совершенно марсианская штука, которой полтора человека умеют пользоваться и которая вообще никакой проверки "продакшоном" не прошла, даже по сравнению с тайпклассами

трейты - сила, модули - могила.

они просто очень слабо пересекаются по областям применения и использования одного вместо другого это адовые костыления и энкодинги или экспериментальные фичи

@catamorphism а бенчмарки-то сакспарсера у тебяж есть? ну точней парсинга через него, есть оценка сколько выиграл?

в процессе

пока не знаю

хочу попробовать вообще на здоровой рабочей xml-ке

гут, былоб интересно, надо будет потом поглядеть, может в xlsx тоже что выиграется

Roman Kashitsyn, 6:07 PM> Ходил на презентацию чувака, который переделал свою клавиатуру Kinesis, чтобы снизить latency. Он был в майке Go, посоветовал ему перейти на Haskell, чтобы не нужно было так много печатать.

странно, latency можно легко настроить под себя xset r rate 200 50

Roman Kashitsyn, 6:07 PM> Ходил на презентацию чувака, который переделал свою клавиатуру Kinesis, чтобы снизить latency. Он был в майке Go, посоветовал ему перейти на Haskell, чтобы не нужно было так много печатать.

а вот SSE все равно не сработает, вроде компилятор не настолько умный

В недрах ByteString при поиске символа идёт обращение к memchr из glibc. Он-то, надо полагать, в векторные инструкции умеет?

http://hackage.haskell.org/package/bytestring-0.10.8.2/docs/src/Data.ByteString.html#elemIndices

@A64m_qb0 как посчитать минимальный размер хипа с которым программа может работать если задавать -A

в предположении, что во второе поколение ничего (почти) улетать не должно

@A64m_qb0 как посчитать минимальный размер хипа с которым программа может работать если задавать -A

Бинарным поиском)

это-то понятно

Вполне серьезно

я тоже

это понятно, но такой ответ не подходит

в смысле, какой размер хипа будет при таких настройках? если у нас -AXm то где-то X * N * 2 плюс колько там на второе поколение выделяется по минимуму, я сходу не вспомню, ну пусть еще на 2 умножить

да, вот X*N главное

я так понимаю может быть меньше чем на 2 за счет скорости работы?

кстати, что там хип на куски делит -n?

allocation area т.е.

ну хип в любом случае на куски делится, n это куски которые выделяются капабилити целиком, т.е. по умолчанию весь A на один капабилити

ага, т.е. с -n я могу уменьшить константу?

так что это не чейни какой где 2 ровно, аллокатор блочный, т.е. тут 2 будет оценка сверху, наверное

не не константа от n не зависит

сейчас у меня прокатило X*N+10

+8 даже

просто раз аллокатор блочный то выделяется ненужного места поменьше чем при простом копирующем сборщике где строго 2

ох жуть как же генерики компиляцию замедляют

use TH

да и TH замедляет

просто раз аллокатор блочный то выделяется ненужного места поменьше чем при простом копирующем сборщике где строго 2

ну видимо не строго 2 или -M это учитывает

у меня -A32M -N1 -M40M сейчас работает

ну это значит что на момент сборки вымирает почти все

угу

это и проверяем

а, ну собственно это по условию задачи, что второе не растет

я уверен, что +8 это даже слишком много

блин ручной разбор csv + создание бинарного протокола постреса в 10 раз тормознее чем загрузка постресом

впрочем это ожидалось

а ты думал

вообще разумно ожидать меньшей просадки

а что за ручной разбор csv?

постгрес умеет некоторые csv сам отдуплять

вообще говоря, copy сам по себе в несколько раз быстрее insert

я что-то писал про insert?

постгрес умеет некоторые csv сам отдуплять

я про это и говорю copy to format='csv', быстрее в 10 раз чем copyto format='binary' если разбор csv в haskell коде

забавно

а, понял о чем ты

правда парсер у постреса не очень

впрочем это ожидалось

а почему ожидалось?

а у тебя в обоих случаях там FROM STDIN?

а у тебя в обоих случаях там FROM STDIN?

да

надеюсь не потому что это Haskell а не C :)

Haskell, а не C тоже вносит

ну может если у тебя постгрес на другом хосте, или даже датацентре то может более плотная упаковка что и выиграет

в байтстринге супертормозные парсеры чисел

это ж csv там по умолчанию все как текст

можно какой-то там отдельный пакет стюарта попробовать

в общем мне все равно в haskell разбирать

надо ещё csv conduit вместо cassava использовать