И кстати, как обновлять индексы на WiredTiger? Слышал что раньше на mmap он сам обновлял. Сейчас нужно RebaseIndexes или что-то такое?

эм

ускоряют, но не исключают. операция чтения — дорогая операция в любом случае. вставка существенно дешевле. индексы автоматически обновляются вместе с данными, иначе в них никакого смысла нет. ничего для этого делать не надо

Почему чтение дороже вставки?

Запись на диск всегда дороже чтения с него, разве нет?

Нет

поиск же

Почему?

Во-первых, запись в монгу нельзя сравнивать с сырым дисковым io

Как и чтение.

За счёт wired Tiger?

Это гораздо более сложный и затратный процесс, который в себя включает огромное число операций.

Есть что читнуть по теме

?

Исходники монги?

strace?

Доку по архитектуре wt?

Во-вторых, чтение в монге это сложная операция, так как она происходит в несколько стадий. В лучшем случае это index fetch и document fetch.

В случае с записью в лучшем случае это index fetch (_id duplicate check) + index insert + document insert.

Если брать холодный сторадж, то запись будет быстрее, так как она не требует поиска данных.

В общем случае в вакууме. В реальности всё гораздо сложнее, так как есть множество уровней кешировния.

А простые операции чтения или обновления документов, где всё ограничивается index fetch крайне редкое явление.

Но в среднем когда мы вставляем документ, необходимо сделать fetch и несколько update в индексы и один insert в document storage. Что будет сильно проще чем update, в котором обычно есть условия.

А это уже многоуровневая операция, обычно со сканированием индексов. А это уже другие порядки

Но вообще, исходя из постановки, задача выглядит как предварительная оптимизация. Смысла мерять сколько можно вставить документов в монгу из вашего драйвера — нет.

Где хранится индекс на шардированной коллекции, если в нем нет префикса из шард ключа?

В шарде индексы всегда хранятся на самом шарде.

@dd_bb развернутый ответ, спасибо

Так что ответ: на самом шарде.

Эм, при записи всё равно будет fsync делаться, почему она бустрее чтения должна быть?

Разница межу использованием запроса с указанием shard key и без, только в том, что в первом случае планировщик исходя из данных о диапазонов шард-ключей будет знать на какой конкретный шард отправить запрос. В случае если ключа нет, запрос будет отправлен на все шарды

Эм, при записи всё равно будет fsync делаться, почему она бустрее чтения должна быть?

С чего вдруг

Ок, спасибо. Про сами запросы итак понятно

Шард это просто кусок коллекции.

С чего вдруг

Ну ок, только при "j: true"

хотя, я бы не рискнул писать без этой опции

Я бы вообще предложил не обсуждать что быстрее или медленнее в отрыве от конкретного кейса и конкретных данных.

Потому что ответ: ¯\_(ツ)_/¯ или как повезёт

посоветуйте плиз хостинг кроме AWS с большим IOPS для монги

смотрю на vultr, но хз

думаю может реально съехать с aws

А бюджет какой?

Ну 300-400 баксов

Вообще любой если дешевле AWS

:)

Посмотри на ovh public cloud

Да я думаю уже может дедики брать а не облака

Если такие засады с io

А, вижу там есть

Могу записать в waiting list, для нашего решения, но боюсь что с вашим объёмом смыла пока нет. К нам будет выгодно идти с террабайтом и выше.

Да, пока ещё мало...да может и нет смысла дёргаться даже...как вырастим можно будет и съехать

а hetzner'овские vps сильно хуже чем ovh public cloud?

Если такие засады с io

А ты средствами монги мерил? Просто например mongoose если не дописать .lean() отдаёт монгус объект, который на больших объёмах замедляет общее время работы кода в 5-10 раз по сравнению с чистым JS объектом. Это я намекаю что возможно проблема где-то ещё может быть.

А ты средствами монги мерил? Просто например mongoose если не дописать .lean() отдаёт монгус объект, который на больших объёмах замедляет общее время работы кода в 5-10 раз по сравнению с чистым JS объектом. Это я намекаю что возможно проблема где-то ещё может быть.

у меня atop и статистика по AWS показывает что монга жрет IO как не в себя, сам код особо систему не грузит. Да и если бы это был код, наверное были бы проблемы с RAM и CPU а не IO...

ну то есть код дергает запросы, монга начинает очень много читать

как я это вижу судя по статистике и графикам

ну и там на самом деле агрегации

в цикле

А, тогда да. Я думал ты померил просто грубо и вкатился

С CPU проблемы, угу

ну вот у меня с CPU все ок

и RAM полно

а диску плохеет

А индексирование проверял? Может есть что поправить

ну индексы работают..

вначале без индексов у меня запросы выполнялись по 5 минут

ну и в итоге ведь я читаю полные документы

то есть индекс помогает быстро его найти, но в итоге прочитать то его нужно все-равно :)

Денис мысль говорит. Сделай explain

ок, проверю

сейчас правда сделали клинап и порезали данные в 3 раза )

но скоро будет та же история так что посмотрю

хм, ну вроде IXSCAN везде

на что еще смотреть?

У тебя же update, он после обновляет индексы

не, у меня апдейты в другом месте, в самом тяжелом месте где начинаются проблемы с диском count & aggregate, внутри цикла ?и они оба используют индексы

upsert() и все такое не критично грузят, и это другой сервис делает

Привет! Как в монге можно найти объект по значению, которое есть в списке у атрибута объекта?

https://docs.mongodb.com/manual/reference/operator/projection/elemMatch/ не?

https://webapi.steemdata.com/Accounts?where={%22id%22:%20174758} Нужно найти по posting. key_auths что бы этот ключ был там STM6a4GQKwLokWPz6wJHzC5yEfxcu9dkW1GXhcJCZCfsMmRj8sg9V

я с монгой никогда не работал, не получается почему то.. :(

получается делаю так: 'posting.key_auths': {'$elemMatch': {'$eq': 'STM6a4GQKwLokWPz6wJHzC5yEfxcu9dkW1GXhcJCZCfsMmRj8sg9V'}}

есть идеи?

Покажи документ в котором ты хочешь сматчить (не в чат, на gist.github.com или пастбине)

я ссылочку оставил

https://webapi.steemdata.com/Accounts?where={%22id%22:%20174758}

Вообще тебе не надо $eq.

https://docs.mongodb.com/manual/reference/operator/query/elemMatch/#single-query-condition

По ссылке 400

просто я использую $eq так как там обычный список со строками и числами вот он ['STM5fZi2pQsAQq4UvD8cyBtD5Hu9cJj52Q9i6cBsMFGvC8JfHmcz6', 1]

Ты можешь куда-то репоснуть пример документа? По ссылке на айпаде просто текст рендерится, видать там xml

там xml все верно, момент

<resource> <posting> <key_auths> ['STM6a4GQKwLokWPz6wJHzC5yEfxcu9dkW1GXhcJCZCfsMmRj8sg9V', 1] </key_auths> <weight_threshold>1</weight_threshold> </posting> </resource>

короткая версия xml документа

у меня есть ключ STM6a4GQKwLokWPz6wJHzC5yEfxcu9dkW1GXhcJCZCfsMmRj8sg9V