есть центральный сервер С него связь отдельно к каждому компу учительскому от учительского отдельные связи к нашим, учебным

физические или логические связи?

физические

то есть на 10 компов учеников в учительском 10 сетевух? и нет свичей в сети?

Вообще весело. ? Я уменьшил размер файла в три раза, а программа все равно выжрала 3 ГБ ОЗУ.

так а что в сете? где память хранится, какие размеры и т.п. В отладчике внутрь объекта лазил?

мемлики есть?

Искать утечки в стандартной библиотеке? :D

ну ее использовать можно неправильно ;)

У меня в коде ни одного new

ну значит смотри, что внутри контейнера в итоге

может я пропустил, max_size у сета смотрел?

а не, там не то немного :(

а, ну и файл может системой кешироваться

Файл может кешироваться, но это не влияет на RES процесса.

Ты меня не понял. Совсем.

у нас есть доступ друг к другу через учительский комп

Интересные результаты выдал Massif

400 МБ на сами строки

360 МБ на хеш-таблицу

Ты меня не понял. Совсем.

а что нужно дать тебе, какую инфу

И якобы пик 766 МБ всего. Откуда же 3 ГБ в RES и попадание в своп?

А, поправка. Без Valgrind на файле в три раза меньшего размера выжрал 1 ГБ. Т.е. все линейно.

Но все равно больше, чем выдает Massif

а что нужно дать тебе, какую инфу

мне не нужно давать ) ты сам должен понять, как пакеты по сети ходят :) если компы друг друга видят, тогда это может быть не сильно критично. Но обычно в сети есть свичи. Напрямую компы редко напрямую соединяются.

ок

посмотри какие порты досутпны. Может smb хватит (если еще это пашет и открыто)

Hi. Как такое может бьіть? jni/../../Classes/GenericFunc.cpp:220:5: error: 'puts' is not a member of 'std' std::puts(buffer);

<cstdio> не забыл?

cstdio.h: No such file or directory stdio.h никак не влияет на ошибку

Сомневаюсь, но может дело в android-ndk? (По идее же std в комплекте с cpp идет, не важно какой тулчейн использовать?) — https://bpaste.net/raw/606f37c51a40

Используется так: char *buffer = new char[10]; std::strftime(buffer, 10, "%Y-%m-%d", timeinfo); std::puts(buffer);

Все же правильно? Туда передается char* тоесть функция есть. И значит проблема не в неправильном использовании puts...

Или puts и std::puts разньіе звери?

А без std видит?

Yep ?

Такое бывает на старых компиляторах

Reindex.. please wait

Когда-то cstdio не заключал stdio.h в пространство имен std

Reindex.. please wait

cstdio.h: No such file or directory stdio.h никак не влияет на ошибку

не cstdio.h, а просто cstdio

не cstdio.h, а просто cstdio

либо cstdio либо stdio.h

Да

Но stdio.h не делает неймспейс std

ну да, потому что там для совместимости с плюсОвыми примочками есть только extern "C" {}

да, и если мускуль то мемори енжайн взять для такого

чота там искоропки около 1мб ограничение на темп таблицу с этим енджайном. myisam поставил

А как же иннодб?

чота там искоропки около 1мб ограничение на темп таблицу с этим енджайном. myisam поставил

max_heap_table_size тебя спасет

А как же иннодб?

там остальные таблицы в myisam. для match against

А

Кто подскажет? Где в коде эти плагины? https://sourceforge.net/p/tht/code/HEAD/tree/

ну, они заканчиваются на слово plugin =) finvizplugin.h/cpp stocksinplayplugin.h/cpp

прям как есть навалены, в транке, например https://sourceforge.net/p/tht/code/HEAD/tree/trunk/

А тут нет такого

Это код с самой проги,скаченной..

В продолжение вчерашнего обсуждения про выделение памяти. Я решил попробовать использовать boost::fast_pool_allocator для std::unordered_set. Время выполнения не изменилось, зато памяти сожрало почти в два раза больше, чем с обычным аллокатором.

ERROR: S client not available

Потом я попробовал делать reserve перед заполнением и перебрал 4 варианта:

Хотя время я некорректно измерял :(

не помню точно, вроде unordered set это массив списков

чем меряяешь память? что за утилита?

чем меряяешь память? что за утилита?

Massif

Перемерил.

То биш, если вне зависимости от возможности вызова reserve(), смысла в fast_pool_allocator почти нет.

в чем задача состоит? я пропустил

Есть файл с большим количеством строк. Нужно из этих строк вычленять нужную часть и записывать в хеш-таблицу для быстрого поиска после.

Замес в том, что для хранения данных из файла 172 МБ (а вычленяется половина из него, т.е. 86 МБ) почему-то расходуется больше 300 МБ ОЗУ.

поиск просто по строкам?

Ну да. Нужно быстро определять, есть ли искомая строка в файле.

https://ru.wikipedia.org/wiki/%D0%A4%D0%B8%D0%BB%D1%8C%D1%82%D1%80_%D0%91%D0%BB%D1%83%D0%BC%D0%B0

И как бороться с ложноположительным результатом?

По сравнению с хеш-таблицами, фильтр Блума может обходиться на несколько порядков меньшими объёмами памяти, жертвуя детерминизмом. Обычно он используется для уменьшения числа запросов к несуществующим данным в структуре данных с более дорогостоящим доступом (например, расположенной на жестком диске или в сетевой базе данных), то есть для «фильтрации» запросов к ней.

И как бороться с ложноположительным результатом?

увеличивать память под фильтр ?

Но все же интересно, почему такие накладные расходы у unordered_set.

Надо бы еще проверить его на long int вместо string.

Но все же интересно, почему такие накладные расходы у unordered_set.

http://stackoverflow.com/questions/9375450/stdunordered-map-very-high-memory-usage

Я видел

Там нет объяснения, почему столько требуется.

Просто в реализацию залезть посмотреть, вроде там массив списков, на список еще накладные расходы

можно самому реализовать хеш с иным разрешением коллизий

ну да, можно и свой написать, с оптимизацией под частный случай

мож поменьше памяти нужно будет

и память выделять вручную