@proGO

Страница 415 из 1674
 
Daniel
19.01.2017
16:09:21
умею, но не люблю

 
а что?

 
Subbotin
19.01.2017
16:09:34
выше написано

 
Daniel
19.01.2017
16:09:47
тогда процитируй, будь добр

Google
 
hamper ?
19.01.2017
16:09:58
А вы случаем не знаете какой нибудь хороший конкурентный инпроцесс кеш который не лочился бы весь при записи одного ключа и при этом работал бы достаточно быстро на больших объемах? А то я вот пробовал github.com/patrickmn/go-cache но он локами мапа тормозит весь процесс заметно если там например около пары сотен тысяч записей в секунду происходит.

 
Subbotin
19.01.2017
16:10:03
требований нет. но чем больше я проверю в секунду тем лучше

 
Daniel
19.01.2017
16:10:38
а данные меняются?

 
Quet
19.01.2017
16:10:56
или много памяти на индекс, или тормоза
в общем случае - да, но тут можно читернуть слегка

 
Kirill
19.01.2017
16:11:03
а данные меняются?
nope

 
Subbotin
19.01.2017
16:11:09
инсерты не нужны. только геты

 
Kirill
19.01.2017
16:11:28
хотя об update никто ничего не говорил

 
Subbotin
19.01.2017
16:11:39
не. апдейтов тоже не будет

 
ну точнее будут но можно базу перезалить целиком.

 
Quet
19.01.2017
16:12:03
brin тут нужен для того чтобы его можно было поднять в память и держать там, соотв logN просмотренных блоков это не ад и ужас

 
Subbotin
19.01.2017
16:12:10
типа раз в сутки

 
Quet
19.01.2017
16:12:26
ну точнее будут но можно базу перезалить целиком.
а что это за данные вообще?

 
Daniel
19.01.2017
16:13:03
да какая разница

Google
 
Daniel
19.01.2017
16:13:07
метрики какие-то

 
Kirill
19.01.2017
16:13:28
такое впечатление, что это база каких-то хешей биткоина, и тов. @mr_tron хочет диагонально насчитать еще

 
Subbotin
19.01.2017
16:13:29
околонаучная хуета.

 
у биткоинов емнип ключи длиннее

 
толи 256 бит толи вообще 512

 
Kirill
19.01.2017
16:14:11
у биткоинов емнип ключи длиннее
хеши биткоина — просто пример

 
Daniel
19.01.2017
16:14:11
я бы всосал это в память, массивом

 
Quet
19.01.2017
16:14:32
я бы всосал это в память, массивом
жадничают на память же

 
Subbotin
19.01.2017
16:14:51
я бы всосал это в память, массивом
и бегал бы по нему?

 
Daniel
19.01.2017
16:14:58
массив отсортировал (интересно, сколько идет пузырек по такому масиву. впрочем - надо в справочник глянуть, для таких размеров должны быть алгоритмы лучше)

 
Quet
19.01.2017
16:15:11
массив отсортировал (интересно, сколько идет пузырек по такому масиву. впрочем - надо в справочник глянуть, для таких размеров должны быть алгоритмы лучше)
какой нах пузырек

 
забудь про этот алгоритм

 
есть стандартный quicksort, есть вариации merge sortов

 
Kirill
19.01.2017
16:16:06
это как я на 4G тачке в память загнал 8G данных. навернул тогда некое подобие RT и как-то повезло, что еще полгига рамки свободной осталось.

 
Daniel
19.01.2017
16:16:07
нарезал бы на N кусочков (N взял бы побольше), индексы кусочков сложил бы в хеш

 
и делал бы сначала по хешу поиск кусочка, а потом перебор по кусочку

 
Quet
19.01.2017
16:16:50
если отсортировано то зачем перебор если есть binary search

 
Daniel
19.01.2017
16:17:01
есть стандартный quicksort, есть вариации merge sortов
под такой объем алгоритм подбирать надо. да и под данные

 
Quet
19.01.2017
16:17:16
под такой объем алгоритм подбирать надо. да и под данные
да, но пузырек это не выбор ни для какого объема-данных )

 
Daniel
19.01.2017
16:17:22
если отсортировано то зачем перебор если есть binary search
или хеш, или перебор

Google
 
Daniel
19.01.2017
16:17:48
да, но пузырек это не выбор ни для какого объема-данных )
для 1000 строк пузырек будет лучшим выбором

 
Subbotin
19.01.2017
16:17:51
и делал бы сначала по хешу поиск кусочка, а потом перебор по кусочку
сдаётся мне блум фильтр и кв будут быстрее существенно

 
Daniel
19.01.2017
16:18:00
нет, не будут

 
Maxim
19.01.2017
16:18:04
лучше скажите как сделать такую задачу: есть ~40 гиговая база которая у меня не влезает в память и добыть где=то сервер с 48 гигами не вариант. база представляет собой кей-валуе где и ключ и значение лонг лонг инт. ключи весьма разряженные и случайно/равномерно распределены по диапазону. по ней надо очень быстро бегать и проверять есть ли значение и чему оно равно. доля попаданий около 1%. 99 - мисы. как лучше организовать такую штуку?
Один вопрос: как ты до такого докатился?

 
Daniel
19.01.2017
16:18:13
это они и есть, только без лишней херни

 
Subbotin
19.01.2017
16:18:35
пацаны попросили помочь пиписьками померяться :)

 
Maxim
19.01.2017
16:18:45
пацаны попросили помочь пиписьками померяться :)
Мда...

 
Kirill
19.01.2017
16:19:31
пацаны попросили помочь пиписьками померяться :)
тебя отрастить позвали или подержать? понять не могу твою выгоду

 
Quet
19.01.2017
16:19:53
тебя отрастить позвали или подержать? понять не могу твою выгоду
???

 
Subbotin
19.01.2017
16:20:27
все бы вам выгода... я с ними последнюю краюху хлеба делил и бутылку пива. братья по хлебу и пиву

 
Quet
19.01.2017
16:22:12
все бы вам выгода... я с ними последнюю краюху хлеба делил и бутылку пива. братья по хлебу и пиву
а купить машину с 64 памяти для братьев зажал? )

 
Daniel
19.01.2017
16:23:40
без всасывания такого объема в память все равно ни хера быстро не будет

 
Daniel
19.01.2017
16:23:55
и тут риальне 40G данных

 
я вот даже не знаю, как себя гошечка с таким хипом ведет

 
за jvm я тут уверен был бы, а за гошечку - не очень

 
Kirill
19.01.2017
16:24:56
я вот даже не знаю, как себя гошечка с таким хипом ведет
когда в память не помещается или когда?

 
Daniel
19.01.2017
16:25:16
когда 40GB в памяти данных

 
Denis
19.01.2017
16:25:26
китайцы ~200 гб катали на своих сервисах

 
на гошке

 
Daniel
19.01.2017
16:25:46
ну - я не доверяю китайцам и не катал сам

Google
 
Quet
19.01.2017
16:25:47
да вроде мамой клялись что уже нет линейной зависимости пауз gc от размера хипа

 
но я бы такое все равно лучше на ком-нибудь расте написал

 
Daniel
19.01.2017
16:26:05
а тут gc ни при чем - тут объект-то один

 
но я бы такое все равно лучше на ком-нибудь расте написал
чем лучше-то?

 
Quet
19.01.2017
16:26:27
чем на го )

 
Subbotin
19.01.2017
16:26:53
ну я вот думаю что среди значений у меня дофига дубликатов. попробую их переиндексировать на что-нить покороче. скорее всего влезет в 32 бита.

 
Daniel
19.01.2017
16:27:33
2.5 миллиарда строк - это не шутки в любом случае

Admin
ERROR: S client not available

 
Daniel
19.01.2017
16:27:43
даже если значения будут по байту

 
Kirill
19.01.2017
16:28:45
когда 40GB в памяти данных
ну — в баду, вроде как, держали и больше, и ничо, жило

 
Daniel
19.01.2017
16:29:06
я делал и больше, но - на jvm

 
Subbotin
19.01.2017
16:30:41
ну если бы один байт то можно было упихаться в оперативку. а там хоть бинари серчем ищи

 
Quet
19.01.2017
16:31:23
ну если бы один байт то можно было упихаться в оперативку. а там хоть бинари серчем ищи
ну в итоге к этому и придет наверное

 
день работы человека который будет пытаться запихнуть это все в 32гб наверняка дороже чем машина с 64гб на пару месяцев

 
Daniel
19.01.2017
16:33:02
день не день, но смысла задача в такой постановке не имеет совсем

 
не

 
можно

 
все то же самое, но индекс не по спещениям в массиве, а по смещениям в файле

 
но тут у нас будут проблемы с сортировкой

 
Subbotin
19.01.2017
16:37:06
день работы человека который будет пытаться запихнуть это все в 32гб наверняка дороже чем машина с 64гб на пару месяцев
Я надеюсь упихать за пару дней. Это сравнимо со днём моей работы. Чай получаю пока не 4200 евро

Google
 
dypa
19.01.2017
16:41:11
день работы человека который будет пытаться запихнуть это все в 32гб наверняка дороже чем машина с 64гб на пару месяцев
опыт стоит тоже денег

 
Quet
19.01.2017
16:41:39
опыт говорит что в таких случаях надо класть в память просто

 
Daniel
19.01.2017
16:42:06
опыт говорит что в таких случаях надо класть в память просто
+1

 
Roman
19.01.2017
16:51:25
ну если бы один байт то можно было упихаться в оперативку. а там хоть бинари серчем ищи
Данные произвольные? Может быть их как то можно упаковать?

 
Subbotin
19.01.2017
16:58:28
Ключи псевдорандомны. А вот значений всего 20 миллионов. Распределены очень не равномерно. Очень плотно в начале и ещё достаточно высокая плотная гаусиана в районе 50 миллиардов. Остальное по сути шум. Счас надо попробовать их за фильтровать.

 
Roman
19.01.2017
17:19:11
20 милионов значений влезают в массив с 32 битным счетчиком

 
8 байт на ключ и 4 байта на значение это 12 байт. Для 2.5 млрд записей получается 30 гигабайт

 
Roman
19.01.2017
18:53:23
без всасывания такого объема в память все равно ни хера быстро не будет
mmap?

 
Daniel
19.01.2017
19:13:43
и что mmap?

 
Roman
19.01.2017
19:13:50
Всем привет! Ищем в Appodeal Golang или Python разработчика, который хочет в ближайшее время выучить Golang. Подробное описание на гитхабе https://gist.github.com/ralovets/b12b1a45bb51ca1dea30a8350cb78e5e

 
Мерлин
19.01.2017
19:18:22
я вот даже не знаю, как себя гошечка с таким хипом ведет
https://groups.google.com/forum/#!topic/golang-nuts/pHYverdFcLc

 
TL;DR Не стоит держать много данных в map

 
Morran
19.01.2017
19:23:37
У меня есть необходимость конвертировать логические true / false в интовые 1 / 0. Какой их способов самый быстрый? Через условие if, через switch или через map[bool]int?

 
Denis
19.01.2017
19:24:44
через bench

 
Quet
19.01.2017
19:25:38
но постановка задачи забавная конечно )

 
Sergey
19.01.2017
19:26:37
это что получается, нет генератора uuid в стандартной библиотеке?

 
Denis
19.01.2017
19:28:24
так же удивился, когда не нашел ридера qr кодов

 
Quet
19.01.2017
19:31:08
просто зажрались, слишком много всего у го в стандартной библиотеке )

 
Denis
19.01.2017
19:35:10
говорят там можно найти курсач пайка

Страница 415 из 1674