Посмотри на опенстек

А то все от него разит потом

Масштабируется по самый небалуйся

Кароче план, есть пм2 он вроде сам умеет в кластерищацию есть рест аписамопальный написанный на ноуд с экспрессом

Есть БД на монге с репликацэией на три сервака

Как такая тема затащит?

Масштабирование в пределах одного цода?

Что такое пм2

Pm2

Как такая тема затащит?

вы не могли бы использовать общепринятую терминологию.

Вбей в нпм там сразу все напишется

Сорян, я избегаю нодоподелий

И не держу нпм

вы не могли бы использовать общепринятую терминологию.

Как себя может проявить задуманная концепция при реализации

Печаль

Просто диплом пишу, хочется что то от масштабирования получить

Интересное

Просто диплом пишу, хочется что то от масштабирования получить

интересное - это миграция tcp-соединений через sock_diag и tcp_repair

масштабирование - это результат усилий, а не магия и не "оно само"

масштабирование - это результат усилий, а не магия и не "оно само"

Задача как раз е тому и сводится что бы это стало магией с минимумом усилий

По крайней мере это показать

Коллеги подскажите что за ошибка

[######################..] fare_conditions.conditions 857389/896409 (95.6%) 2016-05-27T10:48:54.913+0300 [#######################.] fare_conditions.conditions 861204/896409 (96.1%) 2016-05-27T10:48:57.913+0300 [#######################.] fare_conditions.conditions 865699/896409 (96.6%) 2016-05-27T10:49:00.913+0300 [#######################.] fare_conditions.conditions 870728/896409 (97.1%) 2016-05-27T10:49:03.913+0300 [#######################.] fare_conditions.conditions 880307/896409 (98.2%) 2016-05-27T10:49:04.697+0300 [#######################.] fare_conditions.conditions 883903/896409 (98.6%) 2016-05-27T10:49:04.697+0300 Failed: error reading collection: BSONObj size: 0 (0x0) is invalid. Size must be between 0 and 16793600(16MB) First element: EOO

Народ - а есть кото порекомендовать в докладчике по Монге на DevConf ? А то засилье муськи и постргреса ...

такое сообщение в rs.status() нормально? "infoMessage" : "could not find member to sync from", "health" : 1, "state" : 2, "stateStr" : "SECONDARY", "self" : true

Ну видимо could not find member to sync from

Оплога хватает?

Ну видимо could not find member to sync from

да, видимо не мог. Отбой, везде появился syncingTo

https://www.reddit.com/r/programming/comments/4n3pgk/mongodb_queries_dont_always_return_all_matching/

Proof or GFO :)

дык там же ссылка на статью

с утра еще видел.

я так понимаю чувак нашел какой то race condition

и ему показалось мало bug report-а и захотелось публичной порки

Reads may miss matching documents that are updated during the course of the read operation. :) https://docs.mongodb.com/manual/faq/concurrency/#what-isolation-guarantees-does-mongodb-provide

by design

я так понимаю, это прежде всего при перемещении может проявляться, когда не влезло в старый слот

>>No surprise there. Keeping data in mongodb is like keeping rice in a sieve.

>>Not really. When rice falls through you know where it went.

тред ненависти к монге

бедные чуваки :)

такое впечателение, что данные прямо реально потерялись, ну не появилось в ленте какого-то поста разок, не страшно

вообще, апдейтить сущетвующие записи - это edge case:) append only же:)

вообще, апдейтить сущетвующие записи - это edge case:) append only же:)

Да ладно

найдено там в треде https://www.linkedin.com/pulse/mongodb-32-now-powered-postgresql-john-de-goes

ну это старое нытьё. постгрес - убийца монги. уметь хранить jsonb и кое-что искать по нему - это так мало от монги, что можно вообще не париться у нас в проекте постгрес и jsonb кое-где - это содомия;) поискать по нему можно, но разве это про монгу...

с другой стороны, если вы не знаете зачем вам capped collections, map/reduce, aggregation framework и gridfs, то вам и монга не нужна;)

я не говорю уже про волшебный шардинг в постгресе:)

с другой стороны, если вы не знаете зачем вам capped collections, map/reduce, aggregation framework и gridfs, то вам и монга не нужна;)

а как же репликация и ремастеринг из коробки?

с репликацией у них хотя бы более-менее;)

+там где данные нормально денормализуются можно получить профит на то же чтение в несколько порядков

а как же репликация и ремастеринг из коробки?

а что ремастеринг? он и там и там есть

+там где данные нормально денормализуются можно получить профит на то же чтение в несколько порядков

это сейчас в какую сторону?

а что ремастеринг? он и там и там есть

ну вот погашу я сейчас мастер и база в монге через 10 секунд уже будет работать, а для mysql/postgre придется костыли писать

нормализация и денормализация - это как бы термины из мира rdbms... и сравнивать по этому параметру не очень понятно зачем

ну вот погашу я сейчас мастер и база в монге через 10 секунд уже будет работать, а для mysql/postgre придется костыли писать

так нет же с 9.3 вроде?

https://wiki.postgresql.org/wiki/What's_new_in_PostgreSQL_9.3#Streaming-Only_Remastering это ли не оно?

это сейчас в какую сторону?

я с mysql сравнивал, у нас было огромное количество join-ов, 100к строк выгружались от 40 секунд, в монге меньше секунды

давайте будем честными

я с mysql сравнивал, у нас было огромное количество join-ов, 100к строк выгружались от 40 секунд, в монге меньше секунды

ты же понимаешь, что это не сравнение. кто мешал денормализовать в мускуле?

ты же понимаешь, что это не сравнение. кто мешал денормализовать в мускуле?

тогда в него надо json пихать, а нормальных update операций на json нет (не было год назад, во всяком случае).

как мы видим и в монге их нет:D

Где там вообще статья? Я вижу только наброс из одного предложения без тестов, без примеров.

https://wiki.postgresql.org/wiki/What's_new_in_PostgreSQL_9.3#Streaming-Only_Remastering это ли не оно?

Не нашёл ничего про авторемастеринг

Опять же, движок какой тоже не понятно.

А так, в последнем postgresql вроде даже добавили апдейт операции на jsonb

Но не уверен зарелизился он или нет.

И там синтаксис просто адовый.

И там синтаксис просто адовый.

вот это вот да, я такое из головы не умею в консоли писать, я SQL то не люблю;)

-- String exists as array element: SELECT '["foo", "bar", "baz"]'::jsonb ? 'bar';

У меня язык не поворачивается назвать это SQL. Тут от SQL только select. И это самый простой вариант запроса.

Хз, кстати, научили ли sqlalchemy уже это поддерживать

Хз, кстати, научили ли sqlalchemy уже это поддерживать

Джангу многому научили

господа, а как должен себя повести клиент при rs.stepdown() ? переконнектится к новому мастеру же да ?

господа, а как должен себя повести клиент при rs.stepdown() ? переконнектится к новому мастеру же да ?

Если реплика сет в клиенте указывался, то да, если просто к серверу подключение, то нет)

репликасет указан да.

кто нибудь использует mongodb c elasticsearch?

На уровне домашних экспериментов только использую

как соединяеш их?

Скрипт самописный данные из монги в индекс эластика переносит

Но есть для этого и специальные инструменты их пока не использовал

скрипт oplog читает?

Нет

Коллеги а pitr вообще для mongo реально ?

хочется порбовать востановить базу на два часа назад

при чем не весь а только одну коллекцию

я так понима что для этого нужен бекап можно даже после точки воставновления с опцией —oplog