Ну да

а сколько потреяю на проходе до справочника

в памяти? нисколько

пронумеровать все коды и хранить это в мапе.

+1

В го встроен статистический сэмплер же

ребят проще, я прогать начал есяца 2 назад

Ааа

Это окей

Кароч

Смотри

а bash увидел 3 месяца назад

Сначала пиши, чтобы работало

уже есть

ща работает

Про скорость будешь думать, когда заработает

Так Где там эта статья-то была Про профайлер гошный

пока в плаанах - вообще в редис загнать, и проверить компактнее, и сколько я проиграю в скорости

А зачем все это

был скрипт на баше

Если нужна компактность - используй пул

работ часов 8

пока в плаанах - вообще в редис загнать, и проверить компактнее, и сколько я проиграю в скорости

но зачем?

Не нужно редис

ща то что спрогал работает 2 часа

надо уложиться в 40 минут

или быстрее

Там же есть это самое Пул объектов

Херово уже соображаю, излагать не могу

Кароч, есть местный аналог слаб аллокатора

Все как в редисе

Только редис не нужен

ща то что спрогал работает 2 часа

у меня на питоне будет работать несколько минуть.

Sync.pool или как там его

у меня на питоне будет работать несколько минуть.

спросить не буду

но я питон не умею

Sync.pool - читаю

Да забей пока на него

Сперва профайлером надо пройтись

Пул потом будет

Если понадобится

Хотя, гошный профайлер не показывает же GC

на 130М не нужен map

на 130M нужен массив с дырками

есть для go массивы с дырками?

а это что за массивы такие?

https://ru.wikipedia.org/wiki/%D0%A0%D0%B0%D0%B7%D1%80%D0%B5%D0%B6%D1%91%D0%BD%D0%BD%D1%8B%D0%B9_%D0%BC%D0%B0%D1%81%D1%81%D0%B8%D0%B2

https://godoc.org/golang.org/x/tools/container/intsets

если я понимаю ерно

я могу описать массив с инексами 0,1,7,9 например

так?

да

а вот это круто

это будет сильно легче мапы по идее

да

и, возможно, быстрее

теперь опрос - съест ли он int64

ща попробую проверить

https://godoc.org/golang.org/x/tools/container/intsets

а сет ему чем тут поможет?

ну - я его нашел как имплементацию sparse array

вот я не вижу что бы можно было воткнуть значения

если просто проверять есть номер или нет то https://github.com/bickfordb/judy.git

я бы вообще просто взял большой шмат памяти

пока только как множесто

после проверки номера и получения кода города - надо залезь в нужную базу в нужную таблицу(котору я определяю по коду города) и получить доп данные

это нечто вроде сверки с другой системой

на предмет рассинхрона

и делать это нужно быстро - пока данные не обновились

есть 130 милионов телефонов

а что ты дальше с этим мапом делаешь?

только то выше описал

или надо подробнее

ох

или надо подробнее

а что за доп данные?

тебе тут всё надо переписывать

пока что я делаю

есть входной файл

млионов на 10 строк

я его вгоняю в редис

тупо csv

номер и параметр

потом мне надо найти где этот номер живет

ну хорошо

найти его параметр в моих базах

берем массив на 130М элементов

сверить

сортируем

потом методом половинного деления быстро находим свой элемент

а как я его массивом сделаю

профит

пока не приходит в голову

пример map[79031112233] = «MSK01»

в текущем виде

пример map[79031112233] = «MSK01»

Но зачем хранить дубли в значениях?

сделать несколько множеств именованых

и проверять наличие номера в каждом множестве?

и проверять наличие номера в каждом множестве?

Да нет же.

В который раз говорю: нумеруешь табличку кодов и складируешь в отдельный мап. В большом мапе хранишь только номера.

В итоге, у тебя будет две операции поиска, но обе по O(1)

это я понял

вариант со словарем