ну только чанками, либо ленивые вычисления, если в го завезли их

Есть какой-то патерн как их реализовывать? Не хочу писать велосипед

мне памяти не хватало один разок, я все через ленивые функционалы делал :) как пайп, только без создания промежуточных адски больших листов

imap | ifilter | izip и т.д.

я хз; определенно есть; не копал

мне памяти не хватало один разок, я все через ленивые функционалы делал :) как пайп, только без создания промежуточных адски больших листов

Я хз про них в го

Отлично. Вы все ближе к ответу

mapreduce ?

mapreduce ?

Ну как бы операции делаются не на уровне самих данных, они делаются с другим дата сетом

mapreduce ?

Это только если реализовать мапредюс в самом коде

хорошо писать на любом языке нетривиально

золотые слова

В общем пришли к вопросам по проще и понятнее - если кто знает патерны работы с чанками, было бы крайне полезно

Пока буду гуглить

В общем пришли к вопросам по проще и понятнее - если кто знает патерны работы с чанками, было бы крайне полезно

а данных сколько?

200к

довавьте еще ОЗУ)

делите на чанки, дальше делите их методом кольца по воркерам и вперед, че гуглить то?

Чанками по типу по 1000 штук выборки в цикле?

Метод кольца? Есть англ название этому?

ну

нупример

довавьте еще ОЗУ)

Уже добавили, через 2недели съели и поняли что не выход хаха

вот и пригодились кому-то 1000тб рамы от амазона

или сколько у них там

200к

200к чего?

мегабайт?

Документов

Монго

так. а общий объем данных в гигабайтах?

Ух трафик просрался, провайдер тому ip-шнику конфиг поправил сказали.

Ух трафик просрался, провайдер тому ip-шнику конфиг поправил сказали.

?

так. а общий объем данных в гигабайтах?

Этой коллекции или вообще базы?

видимо коллекции

руль сегодня работает?

в монге же есть курсор, в чем проблема ?

я и веду к тому, что почему-бы этот мап-редьюс средствами самой монги не выполнять

а зачем ее лочить? да и это не масштабирование, это чуть больший костыль

пройдет еще месяц и будут новые проблемы

я что то пропустил, а что там ? типа агрегацию из кучи док нада сделать и они в память апппа не влезают ?

Почему нельзя сразу сделать нормально и забыть о проблеме?

Этой коллекции или вообще базы?

а ?

Почему нельзя сразу сделать нормально и забыть о проблеме?

нормально - это использовать тот апи, что вам дает сторадж

я что то пропустил, а что там ? типа агрегацию из кучи док нада сделать и они в память апппа не влезают ?

Не аггрегацию, в этом и дело что операция выходит за скоуп коллекции, данные юзаются для операций с другой коллекцией

Почему нельзя сразу сделать нормально и забыть о проблеме?

Это как? Сразу не сделали "нормально" потому что никто не думал что будет так много

нормально - это использовать тот апи, что вам дает сторадж

ага, спасибо, записал

а. аля relations ? и не хочется внедрять dbref да ,

*?

а ?

Считаю

чо там считать ) db.collection_name.stats(1024*1024*1024)

а. аля relations ? и не хочется внедрять dbref да ,

Там даже другой микросервис вызвается, вообще скоуп вылазит никак средствами мапредюс монги не решить

Это как? Сразу не сделали "нормально" потому что никто не думал что будет так много

не зная деталей я могу только повтори что уже говорил - общие слова. Делите на части и обрабатываете по частам параллельно сколько хотите

Там даже другой микросервис вызвается, вообще скоуп вылазит никак средствами мапредюс монги не решить

тогда в чем проблема бежать по курсору и делать реквесты ?

Если бежать долго - курсор может и отвалиться. Ну и плюс никто не мешает получить инконсистентность через пару дней такой обработки

Там даже другой микросервис вызвается, вообще скоуп вылазит никак средствами мапредюс монги не решить

тогда присоединяюсь к рекомендации @NordLuf

а вам прям реалтайм всё это жевать надо?

Если бежать долго - курсор может и отвалиться. Ну и плюс никто не мешает получить инконсистентность через пару дней такой обработки

так монга вобще не гарантирует ничего на ридах там и фантомы могут быть

Ага

db.wpPageData.stats(1024*1024) { "ns" : "amazonone.wpPageData", "count" : 248418, "size" : 613, "avgObjSize" : 2588, "numExtents" : 17, "storageSize" : 754, "lastExtentSize" : 198.16796875, "paddingFactor" : 1, "paddingFactorNote" : "paddingFactor is unused and unmaintained in 3.0. It remains hard coded to 1.0 for compatibility only.", "userFlags" : 1, "capped" : false, "nindexes" : 1, "totalIndexSize" : 7, "indexSizes" : { "_id_" : 7 }, "ok" : 1 }

Сори

600метров ? вычитай в мемори целиком и живи.

600метров ? вычитай в мемори целиком и живи.

может они эти 600 метров против терабайтного датасета процессят :)

он же говорит они ходят с этими данными в чужой сервис

он же говорит они ходят с этими данными в чужой сервис

Да

так и сколько у вас в итоге данных то учавствует в обработке?

600метров ? вычитай в мемори целиком и живи.

Целиком? Так оно так и работает сейчас и валится

если вам далеко до 32-64гб - то может вы рано оптимизировать начали?

если вам далеко до 32-64гб - то может вы рано оптимизировать начали?

32 гб коллекция?

ERROR: S client not available

а на чем 600 метров не влезает в память не хватает?

Всмысле на чем? DO

32 гб коллекция?

Коллекция сама по себе ничего не означает. Может у вас там сжатые данные, которые потом в 25 раз разворачиваются в памяти.

Всмысле на чем? DO

ну почему 600 метров не лезут в память

имхо стоимость тачки на DO в расчете на год, будет мне кажется дешевле, чем написание и отлаживание всего того громадья что вы придумаете

?

потреблядское мышление 21 века

кек

а ?

А по поводу курсора на монго, кажется это подойдёт

Надо почитать

А по поводу курсора на монго, кажется это подойдёт

если вы юзаете mgo почитайте целиком про find ) и про pipe на всякий случай

Но курсор ведь не перезапускает выборку при каждом обращении?

pipe принимает на вход интерфейс, в котором описан целиком пайплайн агрегации

Т е данные могут стать не актуальными к моменту как курсор доедет

че это за мужик на стикере?

Но курсор ведь не перезапускает выборку при каждом обращении?

нет, это итератор, но возможны фантом риды

че это за мужик на стикере?

Гарольд

Т е данные могут стать не актуальными к моменту как курсор доедет

нет, такого не будет, потому что это не постгря)))

если вы юзаете mgo почитайте целиком про find ) и про pipe на всякий случай

Mgo da

ща

нет, такого не будет, потому что это не постгря)))

Ок понял

Спасибо

Ок понял

https://docs.mongodb.com/manual/core/read-isolation-consistency-recency/ вот это прочтите целиком и вдумчиво

если лениво то хотя бы по вашему кейсу https://docs.mongodb.com/manual/core/read-isolation-consistency-recency/#cursor-snapshot

https://docs.mongodb.com/manual/core/read-isolation-consistency-recency/ вот это прочтите целиком и вдумчиво

?

Не лениво, надо разбираться

Ещё один вопрос - когда документ читается меняется и потом записывается обратно, между этим он может быть уже изменён и риск этого довольно большой с этими параллельным штуками

Это решается каким-то принятым образом или тоже кто как напишет?

1) локи 2) точечные изменения 3) локи + точечные изменения

Понял

Реализуются локи в монго руками?