Так, ребята, коллеги, я совсем запутался в проекте. Нужен свежий взгляд на архитектуру. Пользователь вводит несколько полей данных. Поля сразу кладутся в базу. Есть несколько парсеров. Парсеры в отдельных модулях. Парсеры синхронные. Код их запускающий - асинхронный. Парсеры принимают на вход одно поле из базы и некоторые из них принимают ещё дополнительные поля из других таблиц. В ответ выдают другие поля, из пераой таблицы. Задача - по нескольким полям от юзера спарсить сколько возможно данных на заполнение таблицы и потом юзеру все отдать. По первоначальным данным получаем другие, и их снова нужно в другие парсеры загонять как входные. И так пока таблица не заполнится насколько возможно. Делаю так - все первоначальные поля кладу в словарь, запускаю цикл while, пока словарь не пустой - беру из него по очереди все поля, отдаю во все парсеры что его принимают, удаляю поле из словаря. Если возвращенные парсерами поля в словаре ещё не присутствуют, добавляю их туда. Парсеры запускаю через run_in_executor. Проблема в том, что некоторым из парсеров нужны доп.данные из базы, из других таблиц, и я не знаю как в этом цикле их туда пробрасывать. Еще - данные в возвращенных полях могут не совпадать от разных парсеров и с теми, что уже лежат в входных данных, т.е не уникальные значения. Нужно писать в связанные с основной таблицы, записывать все. Пока что ничего не получается из этой схемы построить.

Братан, ты бы сообщение формировал нормально.

а можно поконкретнее? зачем так сложно всё?

1. Если у тебя данные не изменяются незаивисмо, тебе не обязательно их хранить в разных таблицах 2. Почему бы к каждому парсеру не привязать специальный метод-читатель из БД?

То есть 1.: можешь хоть блобом хранить, если это цельная часть по которы не будет ни поиска, на частичных апдейтов

Поиск будет, в том и ещё одна проблема, по всем неуникальным наборам данных нужно все парсеры прогнать.

вот вообще стало непонятно

поч data[key] = value работает быстрее метода data.update({key: value}) ? Встроенные методы я думал быстрее

def do(parser, loader): connection = poll.get_connection() data = loader(connection) return parser(data)

сегодня уже даже травис умеет в деплоймент

Ну и как он заливает свежий код ?)

def do(parser, loader): connection = poll.get_connection() data = loader(connection) return parser(data)

И здесь мне тоже ничего не понятно...

в смысле? во тфункция которая читает из БД и вызывает парсер

То есть входные данные сразу из базы брать? Как тогда выяснить, нужно ли ещё раз запускать парсер (ergo появились ли новые данные в базе)?

код заливать не нужно

звучало как будто у тебя в БД есть задачи с доп.данными

1) это не ответ на вопрос как

Так, ребята, коллеги, я совсем запутался в проекте. Нужен свежий взгляд на архитектуру. Пользователь вводит несколько полей данных. Поля сразу кладутся в базу. Есть несколько парсеров. Парсеры в отдельных модулях. Парсеры синхронные. Код их запускающий - асинхронный. Парсеры принимают на вход одно поле из базы и некоторые из них принимают ещё дополнительные поля из других таблиц. В ответ выдают другие поля, из пераой таблицы. Задача - по нескольким полям от юзера спарсить сколько возможно данных на заполнение таблицы и потом юзеру все отдать. По первоначальным данным получаем другие, и их снова нужно в другие парсеры загонять как входные. И так пока таблица не заполнится насколько возможно. Делаю так - все первоначальные поля кладу в словарь, запускаю цикл while, пока словарь не пустой - беру из него по очереди все поля, отдаю во все парсеры что его принимают, удаляю поле из словаря. Если возвращенные парсерами поля в словаре ещё не присутствуют, добавляю их туда. Парсеры запускаю через run_in_executor. Проблема в том, что некоторым из парсеров нужны доп.данные из базы, из других таблиц, и я не знаю как в этом цикле их туда пробрасывать. Еще - данные в возвращенных полях могут не совпадать от разных парсеров и с теми, что уже лежат в входных данных, т.е не уникальные значения. Нужно писать в связанные с основной таблицы, записывать все. Пока что ничего не получается из этой схемы построить.

Сейчас попробую нарисовать схему

И не соображаю уже ничерта

Библиотека такая можно для твоего мониторинга

Кто работал с hasura? Стек flask, react, graphql, postgreql. Если не ошибаюсь, hasura позволяет сразу делать graphql запросы напрямую в бд без посредников в виде бека? Нужен ли ендпойнт на фласке для graphql или с hasura можно обойтись без него?

Сдается мне, что hasura и выступает тем бекендом, который ходит в бд вместо вас И если так, тт ваш граф сам в бд не ходит

Товарищи, всем привет. Может кто подсказать по гитхабу ? Я питоню понемногу, сейчас дошло до того что создаю первый репозиторий. Как я понимаю, к этому репозиторию можно подключить некий редактор, по типу sublime, которым можно будет видеть структуру репозитория и редактировать файлы. Может кто подсказать самые популярные ?

Вот у меня есть входные данные - поле "номер". По этому полю парсер может выдать поле "имя". По нему - поле "сайт". По полю "сайт" снова может в числе прочей информации выдать "номер", но уже с другим значением. Его тоже нужно записать и по нему ещё раз все пройти...

Какая-то херня. Делай таблицу заданий, а парсер пусть пишет что там напарсил. Если надо - делай дедупликацию по данным в задании

или вы хотите сказать, что вы объеденили граф с рестом?

Негодяи

Какое невежество. Ну можно же почитать мануал о работе с гитом

А как и где тогда данные хранить/писать в базу Что, парсер сам должен после отработки записать в базу и поставить новую задачу?

что я пропустил? разве графу нужны эндпоинты?

"хасура графкуель" написана на хаскеле. удачи в отладке, в случае чего.

зачем тут hasura ?‍♂️

Hasura будет. Это есть в архитектуре, потому и хотела сама понять к чему она? Ибо не вижу пока куда и как ее применять. Спросить было не у кого ))

@Tishka17 спасай Я все ещё не понимаю твоего предложения

как оно в архитектуру попало? человек, «который рисует квадратики», прочитал хайповую статью?

Не ко мне )))

таблица: id, данные таска, результат периодически читаем у кого нет результата и запускаем пареры парсер по азвершению пишет флаг что есть результат и куда надо сохраняет данные

А ставить задачи где и когда?

там же где и ставишь

передайте архитектору привет

А что с новыми данными? Я сейчас ставлю один раз на входные А выходные-то потом тоже нужно прогнать, а нам неизвестно ещё когда и что там придёт

выходные могут быть какими угодно. Хоть во входные добавляй ещё

Так вот и как их добавлять Аааааааааа

Insert

То есть данные будут писаться только в таблицу тасков?