ну легко могли ошибиться в настройке драйвера, могли что-то нахимичть с чанками

может быть с топологией проблемы: не все ноды друг другу видны

Привет, народ. А расскажите про борьбу с jumbo чанками. Скажем, есть jumbo чанки...есть ли способ посмотреть их размеры?

берём чанк с флагом jumbo. берём диапазон ключа этого чанка, делаем find с этим диапазоном и считаем размер bson :)

эм...а как считается размер bson?)

Object.bsonsize?

Object.bsonsize?

Да

ребят, может ли быть ошибка с подключением драйвера 3.6+ из-за вот этого:

The mongodb+srv option will fail if there is no available DNS with records that correspond to the hostname identified in the connection string. In addition, use of the +srv connection string modifier automatically sets the ssl option to true for the connection. You can override this behavior by explicitly setting the ssl option to false with ssl=false in the query string. https://docs.mongodb.com/manual/reference/connection-string/#dns-seedlist-connection-format

?

потому что если видно в shard-local и не видно через mongos — значит проблема где-то на уровне карты шарда

допустим я нашел, что док находит в чанке, который по мнению монгоса находится на другом шарде, какие действия?

а вот такой вопрос...Для того, чтобы перенести эти jumbo чанки на другие шарды надо на конфигсерверах поднять chunkSize, в этом случае надо помечать jumbo как "уже не jumbo" или монга сама их пометит при следующей попытке смигрить?

а вы какой версии драйвер используете для кластера ботов? Вы используете питоновский?

а версия у вас 3.6+?

у меня тоже, не могу подключиться никак к нему

ребят, может ли быть ошибка с подключением драйвера 3.6+ из-за вот этого:

кидает исключение

до 3.6 нет +srv и таких проблем не возникало, а тут пишет, что нельзя

Вы кроме того, что прописываете client = pymongo.MongoClient("mongodb+srv://kay:myRealPassword@cluster0.mongodb.net/test") db = client.test что-то еще настраивали?

IP Whitelist у меня настроен

может еще что-то нужно

ребят, может ли быть ошибка с подключением драйвера 3.6+ из-за вот этого:

проблема с подключением

пишет, что +srv не должно быть, хотя я использую 3.6.1 драйвер

у нас с подключением принцип по идее один и тот же

давайте, буду благодарен

ну легко могли ошибиться в настройке драйвера, могли что-то нахимичть с чанками

эм, получается чтото веселое, на разных шардах есть доки принадлежащие одному чанку

3 реплики? Это разве не старые версии так подключаются?

допустим я нашел, что док находит в чанке, который по мнению монгоса находится на другом шарде, какие действия?

действия УПС

искать как так вышло

вероятность заливки данных мимо монгоса повышается

а не было с балансером чтонит ьсвязанное что он не домигрировал бы данные?

всё может быть, но я ставлю на заливку мимо

потому что балансировка там многоступенчатая

балансер сейчас в каком состоянии?

то есть я Вас правильно понимаю, Вы используя драйвер 3.6+ прописали подключение старого образца?

client=MongoClient(os.environ['database']) db=client.mydb users=db.users

В os.environ лежит ссылка такого вида: mongodb://egor5q:password@cluster0-shard-00-00-pgt7n.mongodb.net:27017,cluster0-shard-00-01-pgt7n.mongodb.net:27017,cluster0-shard-00-02-pgt7n.mongodb.net:27017/test?ssl=true&replicaSet=Cluster0-shard-0&authSource=admin&retryWrites=true

балансер сейчас в каком состоянии?

сейчас балансит вторую коллекцию, его отключал на время первой разметки.

В os.environ лежит ссылка такого вида: mongodb://egor5q:password@cluster0-shard-00-00-pgt7n.mongodb.net:27017,cluster0-shard-00-01-pgt7n.mongodb.net:27017,cluster0-shard-00-02-pgt7n.mongodb.net:27017/test?ssl=true&replicaSet=Cluster0-shard-0&authSource=admin&retryWrites=true

у меня с 3мя репликами тоже работает, с +srv только проблемы начинаются

сейчас балансит вторую коллекцию, его отключал на время первой разметки.

там чанки здоровые по гигу, он их почти по часу перекидывает

важно, потому что могут возникнуть проблемы потом с несовместимостью

со старым 3.4 работает как и у Вас, с новым нет +srv вообще никак

действия УПС

допустим даже была лажа, или касячк монги, всетаки старая уже, вопрос как мне починить данные? пока вижу только напрямую цепляться к шардам и оттуда данные тянуть и заново их заливать

допустим даже была лажа, или касячк монги, всетаки старая уже, вопрос как мне починить данные? пока вижу только напрямую цепляться к шардам и оттуда данные тянуть и заново их заливать

да, именно так

печальбеда

надо было тестировать™

)))

перед тем как заливать большие массивы, чтоб потом не было больно и обидно, лучше всегда на каком-то срезе пробовать

кстаит а если я сейчас кластер перезагружу он эти данные не потеряет? т.е. я все так же смогу на конкретном шарде их юзать?

потому что на условном 1 гигабайте отлаживать быстрее чем на десятке терабайт %)

перед тем как заливать большие массивы, чтоб потом не было больно и обидно, лучше всегда на каком-то срезе пробовать

это и есть срез)))

а зачем его тогда назад сливать?

только реальных данных а не их копии. сначала поигрался никаких пробелм не было, когда перелил срез на 50лямов и шардинг начал на полную работать, то вылезла такая херь

есть коллекция дохера большая (9млрд доков/12Тб/4шарда) решил выделить горячий сет в отдельную коллекцию (50млн/70Гб/4шарда) , попереливал часть данных. прошло полторы недели, чекаю каунтеры по базе и вот наткнулся

есть коллекция дохера большая (9млрд доков/12Тб/4шарда) решил выделить горячий сет в отдельную коллекцию (50млн/70Гб/4шарда) , попереливал часть данных. прошло полторы недели, чекаю каунтеры по базе и вот наткнулся

просто интересно. На обычных дисках лежит такая коллекция или на ssd? и сколько у нее insert, update?

на каждом шарде raid10 из обычных, 1500рпс не напрягаясь на кластер

есть коллекция дохера большая (9млрд доков/12Тб/4шарда) решил выделить горячий сет в отдельную коллекцию (50млн/70Гб/4шарда) , попереливал часть данных. прошло полторы недели, чекаю каунтеры по базе и вот наткнулся

а зачем в отдельную коллекцию?

зоны же есть

зоны не подходят, у меня шард ключ не позволяет отзонить свежие данные от старых

в ключе даты нет?

нет

а что в ключе есть?

некоторый индентификатор устройства

с которого идут доки

и всё?

да

пойти от обратного и выселить холодные устройства? :)

все горячие

поэтмоу и зоны не подходят

нет повести печальнее

конечно отсутствие механизма изменения шард ключа — одна из самых больших проблем

причем можно было бы выделить холодные данные, но изза необхоидмости иметь доступ по ключу, в котором нет даты - вот что обламывает

а в чём проблема? date: { gte: MinKey, lte: MaxKey }

дату всегда можно ставить в постфикс индекса

хотя для временных рядов я за дату в префиксе и постфикс какой-то, который хорошо дробится

и делать скрипт, который чанк с MaxKey будет пилить по постфиксу и балансировать по шарду, чтоб когда дата новая наступила, данные размазались

вот и у нас похожая ситуация 10 млрд 4 шарда, все в одно коллекции и ключ не позволяет дробить. и тоже идентификатор устройства

если тоже временные ряды, то вот выше

к сожалению иначе hot/cold будет сложно сделать

так можно по дате сделать зоны

и подкручивать их постепенно