Yegor
Нет, мне программист не успел сделать нормальные выходы с одноэса
Yegor
в итоге я не имею никаких интерфейсов взаимодействия кроме десктопного клиента
Tishka17
ух
Nikolay
🤝
natrix5369_job
1. библиотека socket просто дает доступ к сокетам. По какому протоколу ты собрался передавать? 2. так, подробнее
1.Блин. Если честно я не знаю по какому протоколу передается по дефолту. Все что я делаю - это открываю порт на сервере и коннекчусь к нему с клиента. 2. Есть программа,что собирает инфу и есть что обабатывает. Для обеспечения балансировки нагрузки сделано множество обработчиков(воркер) и несколько собираторов(монитор) Монитор должен быть всегда доступен на Коннект и понимать кто к нему подключен,чтобы после того,как собрал инфу - раздать её между клиентами
Yegor
🤔а не проще открыть файлы в питоне и в нем заполнять все данные
Часть данных я беру с одноэса, их заполняют отдельные люди которые конопатят все это дело в одноэсе, другую часть данных конопатят другие операторы в экселях. Мне и те и другие данные надо смотреть чтоб в итоге их питоном проанализировать
👑OGURCHIK🖤
Открыл проанализировал записал
Yegor
🤔ну и
https://t.me/ru_python/1032578
Lex
Я верно понимаю что все что не сокеты это на самом деле абстракции над сокетами ?
natrix5369_job
1. Так, ты отличаешь TCP, UDP, HTTP и другие протоколы? 2. Зачем так сложно?
1. Да 2. Из-за того,что нельзя все построить в одном экземпляре,а поток информации очень большой - решил создать множество обработчиков. К тому же,если не балансировать нагрузку,то воркеры часто работают над одним и тем же. А это снижает КПД программы
natrix5369_job
А отправлять тоже по сокетам?
Да. Требуется лишь текст отпрввить
natrix5369_job
Небольшой
natrix5369_job
Грубо говоря: Монитор собирает нужные заявки для того,чтобы их закрыть А воркер должен получить эти заявки и закрыть
Tishka17
ну
Tishka17
собрал, положил в очередь или базу, потом кто-то оттуда достал и обработал
Yegor
посредине поставить БД между монитором и воркерами?
Romuald
Парни?
Ты слишком широко задал вопрос
Tishka17
Tcp
tcp так себе подходит для передачи структурироавнных данных, он ориентирован на поток байт. А значит ты что-то своё небось изобрел поврех или взял какой-то известный протокол.
Lex
Ну тот же http
Lex
И прочие способы создания клиент-сервер
natrix5369_job
посредине поставить БД между монитором и воркерами?
Думал над этим. По плану было: чтобы каждый воркер создавал папку на шаре,а монитор в каждую папку скидывал файл с названием заявки. Мне показалось,что это уебанская идея
Tishka17
омг
natrix5369_job
я только что сказал про очереди сообщений и базы данных
А что подразумевается под очередями,я не понял
Romuald
celery
Tishka17
zeromq можно даже тебе взять
Tishka17
celery
это не очередь
natrix5369_job
а как ты поймешь что строка кончилась?
Монитор получает список таких заявок. И вот из списка каждому воркеру и передаются эти данные
natrix5369_job
Спасибо парни,погуглю
natrix5369_job
rabbitmq, kafka, sqs
natrix5369_job
celery
natrix5369_job
zeromq можно даже тебе взять
Romuald
celery
это не очередь
Tishka17
Монитор получает список таких заявок. И вот из списка каждому воркеру и передаются эти данные
ещё раз: вот ты передал SD3736262SD3736262 - как ты поймешь, одна это строка, две или 10?
Romuald
Базы данных: mongo, mysql...
natrix5369_job
ещё раз: вот ты передал SD3736262SD3736262 - как ты поймешь, одна это строка, две или 10?
Не понимаю вопроса. Монитор получает лист: [SD10001,SD10002,SD10003] Длина строки всегда одинаковая
natrix5369_job
И каждый элемент нужно лишь передать
Tishka17
ух
Tishka17
короче ты изобрел свой оень простенький протокол поверх TCP
Tishka17
Не понимаю вопроса. Монитор получает лист: [SD10001,SD10002,SD10003] Длина строки всегда одинаковая
а как ты обрабатываешь ситуацию, когда ты отправил сообщение клиенту, а он в момент получения порвал соединение?
natrix5369_job
База Данных это не папка на шаре, это немножко совершенно другая история
Я разве против бд что-то сказал? Я сказал,что я придумал.
Tishka17
короче, не надо шары
natrix5369_job
И так пока кто-то не получит
Tishka17
файловые шары нужны для файлов
Anonymous
Простенький протокол на tcp а разве работа с файлами не ftp нет
Tishka17
Если ошибка - передать другому клиенту
так, значит ты не в курсе, что елси ты сделал send в сокет, а в процессе доставки байтов соединение порвалось, ты не узнашеь какие из них доставлены
Anonymous
А сокеты тоже хотел что то такое сделать
Tishka17
Не,не был в курсе(
возьми rabbitmq
Tishka17
кажется, это то, что тебе надо
Tishka17
не бойся, он не страшный, но придется пару дней переварить что это такое вообще
natrix5369_job
Большое спасибо. Помог избавиться от проблем ❤️
Anonymous
В итоге решил на телеграмме сделать это потому что сервер клиент писать не надо
Tishka17
В итоге решил на телеграмме сделать это потому что сервер клиент писать не надо
ты просто слова вкидываешь в чат или есть какой-то смысл?
Tishka17
Большое спасибо. Помог избавиться от проблем ❤️
ещё не помог, есть вероятность что ты испугаешься и скажешь "блин, нафиг мне этот монстр". Ты должен пережить этот момент
natrix5369_job
ещё не помог, есть вероятность что ты испугаешься и скажешь "блин, нафиг мне этот монстр". Ты должен пережить этот момент
Не,не скажу) в любом случае даже если счас не пригодится . Пригодится потом. По поводу бд: Каким образом организовать все так,чтобы несколько воркеров не получили одинаковую заявку?
Anonymous
Есть смысл в сокетах нужен сервер клиент а когда делаешь бота телеграмм его можно использовать как сервер клиент и сохранять на сервере файлы и папки итд
Anonymous
Просто это у меня своя одна идея была
natrix5369_job
Ведь если одновременно они полезут в бд,то могут вытащить одинаковые данные
Yegor
Чего?
"Каким образом организовать все так,чтобы несколько воркеров не получили одинаковую заявку?" воркер когда берет заявку, пишет в заявке что получил ее
Tishka17
Не,не скажу) в любом случае даже если счас не пригодится . Пригодится потом. По поводу бд: Каким образом организовать все так,чтобы несколько воркеров не получили одинаковую заявку?
ну вот для этого придуманы очереди. Но лучше все равно ориентироваться на ситуацию, что в плохой ситуации заявка может прилететь два раза.