Но я с мемкэшэм ещё только начинаю знакомится, не разобрался, как сохронять на долго и удолять при изменение в таблице

может, имеется в виду то, что мемкэш совсем не умеет сливать на диск? в редисе можно настроить периодический сброс значений в дамп

ну а чем ты рискуешь?

ну проебет данные мемкеш, ну будет мисс

я на самом деле тоже в теории знаком с ним

ну а чем ты рискуешь?

хз, чо за ненадёжность тогда? а вообще, можно как полноценное key-value использовать с асинхронным сбросом

ну а чем ты рискуешь?

в случае падения кэша придется его весь перестраивать. если там просто kv-хранилище, то это еще хоть как-то терпимо, если там хранятся подсчитываемые структуры данных - беда

кеш на то и кеш, что не жалко его потерять и задешево перестроить

в случае падения кэша придется его весь перестраивать. если там просто kv-хранилище, то это еще хоть как-то терпимо, если там хранятся подсчитываемые структуры данных - беда

А разве кв не единственный кейс для мемкеш?

кеш на то и кеш, что не жалко его потерять и задешево перестроить

он либо не престраивается дешево, либо не очень нужен в системе

А разве кв не единственный кейс для мемкеш?

упоролся немного, пожд kv имел в виду использование, когда в кэш просто суется сущность как есть

упоролся немного, пожд kv имел в виду использование, когда в кэш просто суется сущность как есть

А какой ещё есть вариант?

сбрасывать внутрь промежуточную хуйню для подсчетов, использовать как лок сервис

сбрасывать внутрь отдельные части сущности, делать микроиндексы

а кто в теме что выбрать OrientDB или Neo4j

насколько я понял то Neo4j она полностью графовая.. а OrientDB типа сборная солянка

у мемкэша основная проблема так называемый eviction rate

у мемкэша основная проблема так называемый eviction rate

Это что такое?

у мемкэша основная проблема так называемый eviction rate

memcache или memcached?

memcache или memcached?

Правильно писать - redis ?

визуализация графовой БД

Как такое сделать?

Как такое сделать?

Это noSQL БАЗА.

Вопрос в том, каким софтом делается визуализация?

Вопрос в том, каким софтом делается визуализация?

Встроеным.

Для mysql есть аналогии?

Для mysql есть аналогии?

Можно портировать в графовую базу и визуализировать... но боюсь придется дорабатывать... указывать связи... по сути это взвешеные графы... модель такая математическая

Там создаются ноды и указываются их зависимости друг к другу. При этом можно указывать весовые значения зависимостей

Довольно забавная штука. Играюсь вот уже несколько дней.

Для mysql есть аналогии?

упс я ошибся.. говорят что есть инструменты

Вбрось

Вбрось

спец проснется ответит я надеюсь

neo4j очень странная и всратая вещь

neo4j очень странная и всратая вещь

а мне понравилось

простым английским языком пишутся запросы и добавляются данные. практически разговорным :)

простым английским языком пишутся запросы и добавляются данные. практически разговорным :)

больше плюсов нет

больше плюсов нет

ну все зависит от того что ты считаешь плюсами и для чего ты применяешь.

Если залить в нее типичный набор социалки в вакууме, 10K+ связей на вершину, можно прожечь пол

Если залить в нее типичный набор социалки в вакууме, 10K+ связей на вершину, можно прожечь пол

предложи вариант лучше

посоветуй так сказать что может решить подобную задачу лучше

предложи вариант лучше

jvm и костыли, если foss

http://schd.ws/hosted_files/apachebigdata2016/03/S2Graph-%20Apache%20Big%20Data.pdf

http://www.slideshare.net/JasonPlurad/graph-processing-with-titan-and-scylla-65945037

jvm и костыли, если foss

спасиб... правда вот смотрю что у neo4j в списке клиентов кто ей пользуется есть валмарт и ебей

спасиб... правда вот смотрю что у neo4j в списке клиентов кто ей пользуется есть валмарт и ебей

это старая информация

это старая информация

где то видел тесты что вроде из всех графовых баз она вроде как самая шустрая...

это старая информация

а за orientDB чего скажешь?

а за orientDB чего скажешь?

Не пробовал, стали свой велосипед писать

Не пробовал, стали свой велосипед писать

титан чет смущает что он уже больше года не обновлялся... я тоже начал со своего велосипеда и чет мне грустно стало

титан чет смущает что он уже больше года не обновлялся... я тоже начал со своего велосипеда и чет мне грустно стало

Есть триал 6 месяцев у датастакса

Есть триал 6 месяцев у датастакса

а чего вообще стоит и как к ресурсам требователен?

а чего вообще стоит и как к ресурсам требователен?

Из-за неясного ценообразования и забил, по ресурсам там все на java, olap через спарк 1.6

Из-за неясного ценообразования и забил, по ресурсам там все на java, olap через спарк 1.6

они все с неясным ценообразованием.. никто не озвучивает цену подписки. типа все индивидуально

и это бесит

Из-за неясного ценообразования и забил, по ресурсам там все на java, olap через спарк 1.6

а нео ты тестировал? чего в него загружал? реально так сильно тупит?

а нео ты тестировал? чего в него загружал? реально так сильно тупит?

Нагенерил условную социалку, 100млн пользователей 2млрд связей

Нагенерил условную социалку, 100млн пользователей 2млрд связей

и он сдох? на каком железе?

2x2650v2 384G оперативки ssd диски

2x2650v2 384G оперативки ssd диски

ну в данном случае не удивительно что он попытался у тебя прожечь пол и уйти к ядру планеты... они там в калькуляторе для стольких нод рекомендуют уже пару стоек

только кластер они не завезли :D

только кластер они не завезли :D

завезли уже

завезли уже

СС только в бете, и master-slave на стероидах

и даже бекапы на горячую. но только в платной версии

из хипстоты вот есть https://github.com/zheng-da/FlashX/wiki/FlashX-performance-and-scalability

но это не бд

из хипстоты вот есть https://github.com/zheng-da/FlashX/wiki/FlashX-performance-and-scalability

не. мне нужна именно полноценная шустрая графовая БД

полноценная это в смысле что бы могла строить весовые графы

если есть разработчики на java + scala, форкать титан

если есть разработчики на java + scala, форкать титан

это для меня слишком оптимистично... я один всего разработчик

это для меня слишком оптимистично... я один всего разработчик

или этот проект https://github.com/gchq/Gaffer

или этот проект https://github.com/gchq/Gaffer

спасиб. щас подниму поверчу погляжу

или этот проект https://github.com/gchq/Gaffer

хотя титан вроде как есть вполне подойдет. а потом посмотрим. спасиб за консультацию

пойду читать доки

jvm и костыли, если foss

виртуальная машина-то тут при чем?

виртуальная машина-то тут при чем?

Простая отсылка на стек языков и технологий, без набросов

я вообще не понимаю, что тут происходит

один открыл для себя графовые бд, другой просит реализовать их на mysql, третий предлагает конкретную среду выполнения, в которой, видимо, алгоритмы по-другому работают

один открыл для себя графовые бд, другой просит реализовать их на mysql, третий предлагает конкретную среду выполнения, в которой, видимо, алгоритмы по-другому работают

полная комната людей которые тебя внимательно слушают

Нагенерил условную социалку, 100млн пользователей 2млрд связей

Сколько по весу вышло?

подскажите, чем актуально сейчас стату смотреть по бин логу?

нужно выяснить что плодит активно туда

Вопрос такой - как дропнуть индексы у innodb так, чтобы место освободилось. А то я сделал DROP INDEX blablabla ON TABLE lalalala - индекс то дропнулся, но место из-под него не освободилось.

мож отпимайз тейбл сделать?

Таблица вместе с индексами весит 500Гб, при этом данных там 85Гб только. Таблица не партицирована. Лежит на SSD. Оптимайз наверное будет долгим. Проще тогда дампнуть ее и перевлить наверное.

Короче задача - избавиться от ненужных индексов и заодно освободить место на дисках.

Создать копию с нужной структурой, после чего: INSERT INTO ... SELECT * FROM ...

CTAS создаст и так таблицу с нужной структурой

а потом на нее навесить индексы уже. так в разы оптимальнее, так как баз не будет все время перестраивать индексы во время инсерта

http://stackoverflow.com/questions/11751792/with-innodb-how-can-i-claim-back-index-space

Вопрос такой - как дропнуть индексы у innodb так, чтобы место освободилось. А то я сделал DROP INDEX blablabla ON TABLE lalalala - индекс то дропнулся, но место из-под него не освободилось.

innodb_file_per_table ?

innodb_file_per_table да

innodb_file_per_table ?

да

да уже решили - дампим, перевливаем

я прочёл, да. Просто уточнил

причем из-за того, что места на SSD не хватает, а SATAшку подрубить нет возможности (все слоты заняты) - вытаскиваем кусками SELECT blablas INTO FILE со всеми вытекающими

никто не решал вопрос автоматического переключения M->S и обратно

?