Vladimir
Это понятно. Но Кафки нету в проекте, боюсь времени под kafkа установку и настройку н кто не даст, поэтому и пытаюсь на pymongo нечто похожее изобразить )
спасибо
Амир
видимо руководству нужно объяснить, что готовые решения лучше наколеночного. Тем более что у вас "каждая секунда на счету"
Nick
Ну хотелось какое то универсальное средство для разовой перекачки и для инкрементной.
Просто если база например большая, то хочется максимально ускорить процесс переливки для случаев когда или сама база большая, или инкремент большой.
Просто есть задача переливок из mongo в реляционки, а там каждая секунда на счету , чтобы в общий etl все наставлять.
И именно на основе id, потому что оно всегда есть, а timestamp или какой другой идентификатор в каждой коллекции от случая к случаю
не для каждой коллекции это подходит. К тому же как вы обрабатыать будет факты изменения и удаления данных?
Vladimir
не для каждой коллекции это подходит. К тому же как вы обрабатыать будет факты изменения и удаления данных?
Хм. Спасибо. Я недавно в mongo полез. Забыл о том, что удаление в таком случае не отследить.
Получается в целом необходимо статус приделать, и поле updated в идеале.
А далее по значению часа в поле updated в целом можно и партицировать.
Спасибо. Ваш вопрос заставил обратить внимание на нужные вещи. И в целом придумать план.
Еще раз большое спасибо
Nick
Хм. Спасибо. Я недавно в mongo полез. Забыл о том, что удаление в таком случае не отследить.
Получается в целом необходимо статус приделать, и поле updated в идеале.
А далее по значению часа в поле updated в целом можно и партицировать.
Спасибо. Ваш вопрос заставил обратить внимание на нужные вещи. И в целом придумать план.
Еще раз большое спасибо
И вот теперь мы возвращаемся к комменту выше про дебезиум, и не надо делать велосипеды
Vladimir
Ну да, в целом у меня есть в планах сейчас посмотреть курс по Кафка, разобраться пару раз, настроить и предлагать руководству.
Просто без спеца по кафке и без понимания этого всего сложно будет объяснить все аргументированно.
Так как если заводить Кафку, то тогда и остальные костыли надо все переделывать под нее и аргументировать выделить на это бюджет
Nick
Ну да, в целом у меня есть в планах сейчас посмотреть курс по Кафка, разобраться пару раз, настроить и предлагать руководству.
Просто без спеца по кафке и без понимания этого всего сложно будет объяснить все аргументированно.
Так как если заводить Кафку, то тогда и остальные костыли надо все переделывать под нее и аргументировать выделить на это бюджет
Можете вцелом глянуть на changeStreams и на нем построить без кафок, если ее в инфре нет
Stargrapefruit
Здравствуйте, стоит ли переезжать с mongo 7.0.8 на mongo 8.0.3?
Прочитав просторы интернета написано что 8-ка быстрее чем 7-ка. Для меня можно сказать это главный приоритет. Но бенчмарков нормальных к сожалению не нашёл
Constantine
Vladimir
Можно глупый вопрос ?
Мой код
names = ["First", "Second", "Third", "Fourth"]
now = datetime.now()
print('Текущая дата: ', now)
import threading
def worker(i, names):
print(f"Thread {i} started")
client = pymongo.MongoClient(uri,maxPoolSize=200)
db = client['TestDB']
collection = db['TestCollectionName']
for name in names:
result = collection.find({"name": {"$regex": name}})
jsonpath = name + ".json"
jsonpath = join('C:/temp', jsonpath)
with open(jsonpath, 'wb') as jsonfile:
jsonfile.write(dumps(result).encode())
print(f"Thread {i} end")
for i in range(4):
t = threading.Thread(target=worker, args=(i, names))
t.start()
Пытаюсь в несколько потоков считывать с mongodb.
Проблема в том, что все 4 файла создаются последовательно, как будто считывать с mongodb может только в один поток.
Так ли это ?
Скорее всего я где то накосячил, но не понимаю где
Спасибо
Vladimir
MongoDB не поддерживает многопоточное чтение из одной и той же коллекции
вопрос отпал. Сорри за беспокойство
Амир
Амир
MongoDB не поддерживает многопоточное чтение из одной и той же коллекции
вопрос отпал. Сорри за беспокойство
MongoDB uses reader-writer locks that allow concurrent readers shared access to a resource, such as a database or collection.
Nick
Y
Добрый день, подскажите, как отфильтроваться по ключу вот такой структуры
users: Object
main_users: Array
где в списке лежат Object с date_create и нужно отфилтороваться по определенной дате
Kvhqm
Kvhqm
Т.е. $gte: new Date(date),
$lte: new Date(date)
Kvhqm
В доке найди как правильно
Y
В доке найди как правильно
Да это то понятно, я просто не понимаю, как до данных массива провалиться
Kvhqm
Да это то понятно, я просто не понимаю, как до данных массива провалиться
https://www.mongodb.com/docs/manual/reference/operator/aggregation/unwind/
mylifestyle
Друзья, как в beanie найти количество уникальных элементов с фильтром?
К примеру вот нашел количество не уникальных , но с нужным фильтром
result = await ProductOrm.find(
ProductOrm.date >= start_day,
ProductOrm.date <= end_day,
).count()
А вот нашел количество уникальных без фильтра
test = await ProductOrm.distinct(key="message_id")
А как найти количество уникальных с фильтрацией????
Артем
Друзья, как в beanie найти количество уникальных элементов с фильтром?
К примеру вот нашел количество не уникальных , но с нужным фильтром
result = await ProductOrm.find(
ProductOrm.date >= start_day,
ProductOrm.date <= end_day,
).count()
А вот нашел количество уникальных без фильтра
test = await ProductOrm.distinct(key="message_id")
А как найти количество уникальных с фильтрацией????
Написать свой pipeline для агрегации
И не использовать beanie, он строит отвратительные запросы
Артем
Написать свой pipeline для агрегации
И не использовать beanie, он строит отвратительные запросы
Вам нужен pipeline из match + group
mylifestyle
да я понял, думал на орм как-то
mylifestyle
pipeline склонен к опечаткам
mylifestyle
как sql
mylifestyle
и то и другое я могу писать, но это блевотно
mylifestyle
или есть какой-то орм для монго нормальный?
mylifestyle
для python
Andrey
или есть какой-то орм для монго нормальный?
Да пользуйтесь beanie, он отвратителен, но другого нет.
Andrey
Просто в нем тоже можно и агрегации и все остальное.
mylifestyle
дак вот и получается, что сложные запросы я пишу через pipeline, а простые в beanie очень быстро и просто
Andrey
Главное с beanie не перейти ту грань, когда ради удобных объектов начинаете их также хранить в монге. Тогда ip адреса хранят как строки, и cidr записи как строки и другие моменты.
mylifestyle
вроде пока до такого не дошел)
NO WAR!
Всем привет.
Для разработки использую Монго, установленный локально на ноутбуке. Пару дней не коннектился в Компасе к локальным базам. Сегодня попытался и вдруг Authentication failed. При этом не коннектится ни к каким локальным базам. Ни к к admin, ни к базе приложения.
Что могло случиться? Разумеется я ничего не менял.
wisp
предоставьте скрин с ошибкой и расскажите как пытаетесь подключиться
wisp
попробуйте вместо localhost написать 127.0.0.1
NO WAR!
попробуйте вместо localhost написать 127.0.0.1
Можно где-то логи ошибок посмотреть на Виндоуз?
wisp
тут скорее всего проблема в том, что вы подключаетесь к серверу, но какие-то данные вводите не правильно. например, пароль
wisp
через mongosh пробовали подключаться?
wisp
mongo "mongo://..."
NO WAR!
тут скорее всего проблема в том, что вы подключаетесь к серверу, но какие-то данные вводите не правильно. например, пароль
Разобрался.
Посмотрел конфиг, а там аутентификация не включена.
Убрал логин и пароль из строки подключения и все подключилось.
Думаю это произошло по причине обновления, которое недавно сделал. Обновил все программы Виндоуз из командной строки. Монго тоже обновился на 8-ю версию. И видимо 8-й встал со своим конфигом, где не включена аутентификация.
Y
Добрый день, подскажите. В этом примере "awards.$": 1 здесь индекс фиксированный, а если я храню индекс, к которому мне нужнообращаться, то как мне правильно забиндить его?
db.collection.find({
awards: {$elemMatch: {type: "Nobel", year: 2021}},
name: "Alice"
}, {
"awards.$": 1
});
Y
Т.е. вопрос, как написать пайплайн, если у меня коллекция хранит поле с массивом и хранит поле с текущим элементом массива
Y
Добрый день, подскажите, у меня есть lookup, который я использую для джоина двух коллекций, как можно сначала отсортироваться в первой коллекции и взять слайс от первой коллекции и для нее джойнить записи из второй коллекции?
Амир
yopp
А можно пример скинуть?
Здравствуйте!
Вы можете добавить pipeline в сам $lookup для дополнительной обработки перед присоединением документов
https://www.mongodb.com/docs/manual/reference/operator/aggregation/lookup/#use-multiple-join-conditions-and-a-correlated-subquery
Y
Подскажите, а как после lookup понять сколько документов будет в результате?
Vladimir
См count, size, в зависимости от того, что хочешь посчитать
Y
См count, size, в зависимости от того, что хочешь посчитать
Мне как-то нужно посчитать размер joinResult после луукапа
Y
Подскажите, возможно ли использовать https://www.mongodb.com/docs/manual/reference/method/db.collection.countDocuments/#mongodb-method-db.collection.countDocuments с pipline ? Или он рассчитан на простой запрос?
Nick
Y
Задача какая у вас вцелом?
У меня есть коллекция, а ее джойню с другой коллекцией через lookup, результаты в joinResult пишу. Мне нужно оценить количество документов
Y
Мне, вообще говоря для пагинации это нужно
Y
Вот не понима, как количество посчитать
Y
Джоин то я написал
Y
я стейджами скипаю нужное количество, по 500 документов скажем. Только мне нужно понимать, на сколько страниц это все разобьется
Y
в конце стедж $count или явно через группировку
А количество документов куда попадает? я результаты дальше из курсора тяну
Nick
А количество документов куда попадает? я результаты дальше из курсора тяну
количетво будет в результате выполнения запроса
Y
Один явный, на результат соединения, другой на количество
Y
такой же
Y
@yatoba верно?
Y
да. Либо опять же посмотреть на $facet чтобы сделать типа два в одном
Спасибо, большое, вроде получилось. C $facet позже разбирусь.
Y
да. Либо опять же посмотреть на $facet чтобы сделать типа два в одном
Подскажите, а вот у меня lookup пишет результат соединения в joinResult
как правильно написать
{ $match: {'$joinResult': { $exist: True } } },
{ $count: "high_scores" }
Y
В привязке к переменной