Tishka17
это и надо
Tishka17
а там нельзя выбрать докерфайл
std::slavik
ну я над разными проектами работаю)
yakimka
Tishka17
ох уж этот юношеский максмализм
я имею ввиду, что если что-то можно протестировать только на единственном сервере, то подключение новых разработчиков к проекту превратится в боль для всех
Nikita
Здравствуйте,
Ребят, возникла идея написать небольшую приложуху которая будет собирать данные из открытых источников, подскажите в какую сторону смотреть, есть такие вопросы:
1. Хочется сделать какой то пул с тасками (нашел пост, нужно собрать лайкнувших), то есть один сервис мне выдает задачи, второй их обрабатывает и удаляет из очереди
2. Как хранить данные если будет большой поток? Стоит ли пойти в сторону объектных баз? Так как по идее буду работать с объектами в виде человека или поста, ну или ещё что-то добавится
3. Хочу сделать небольшой веб интерфейс к этому всему, имею опыт с flask, стоит попробовать что-то новое или пойдет?
Все это делаю больше как самообучение чем какой то проект имеющий право на жизнь :)
А и да, хочется асинхронности
Kirill
Здравствуйте,
Ребят, возникла идея написать небольшую приложуху которая будет собирать данные из открытых источников, подскажите в какую сторону смотреть, есть такие вопросы:
1. Хочется сделать какой то пул с тасками (нашел пост, нужно собрать лайкнувших), то есть один сервис мне выдает задачи, второй их обрабатывает и удаляет из очереди
2. Как хранить данные если будет большой поток? Стоит ли пойти в сторону объектных баз? Так как по идее буду работать с объектами в виде человека или поста, ну или ещё что-то добавится
3. Хочу сделать небольшой веб интерфейс к этому всему, имею опыт с flask, стоит попробовать что-то новое или пойдет?
Все это делаю больше как самообучение чем какой то проект имеющий право на жизнь :)
А и да, хочется асинхронности
1. да
2. сделай как удобней, но код оформляй так что бы можно было подменить базу потом
3. да
Tishka17
объектные базы? Если это то, о чем я думаю, то не стоит
Kirill
монга? почему нет
Tishka17
монга - не объектная, а документоориентированная
std::slavik
при том что приложение мобильное, бэкенд, фронтенд, нейронку, контент и прошивки для контроллеров разрабатывают разные люди
Max
нейронка обучается в виртуалке - у ней там все настроено окружение и сильно не меняется, после обучения моделька конвертится в flatbuffers для микроконтроллера, при этом на микроконтроллере используется для сигнальной обработки плюсовый/сишный код который также в питоновский модуль для обучения нейронки собирается и эти библиотеки идентичны и на сервере и в контроллере, кроме того - на контроллере работает js интерпретатор и микропитон в операционке реального времени, скрипт для js интерпретатора разрабатывается вместе с веб-порталом эмулятором, при этом микроконтроллера на самом деле два, один взаимодействует с кроссплатформенным мобильным приложением через BLE, загружает через WiFi на флешку основного контроллера контент который синхронизирован как с версией приложения, так и js скрипта и модели нейронки. Можете посчитать сколько тут различных окружений используется взаимозависимых. Не то чтобы пяткой в грудь себя бью, но когда такой зоопарк разрабатываешь - как то начинаешь уделять внимание эффективности инструментов
если уделяешь внимание эффектиивности, то есть смысл смотреть в сторону контейнеров (docker), а не виртуалок.
std::slavik
и все это должно предсказуемо вместе работать, откатываться, отлаживаться и чтобы всем было удобно получать нужные версии модулей от других разрабов в нужном для них виде
Max
Nikita
По бд понял, пихну пока все в какой-нибудь mysql а дальше посмотрю,
Вопрос по пулу тасков, стоит пилить самому или лучше взять библиотеку? Если библиотеку, то в какую сторону посмотреть лучше?
Nikita
Я читал вроде у asyncio есть loop бесконечнный, в который можно кидать таски, я правильно понимаю принцип и могу его использовать для моих целей?
Tishka17
Kirill
если проект учебный, то можно по фану угореть по лямбдам, которые запускаются по крону
Tishka17
Либо можешь вообще таски просто в одну таблицу БД валить
Kirill
ну или просто консольные утилиты + крон
Daria
#работа #офис #python #Москва
Вакансия: #python #developer #pythondeveloper
Компания: #ivi
Локация: #москва #мск
З/п:от 140 000 до 200 000 руб. на руки
Контакты: @daria144
ivi.ru - это highload-сервис лицензионного видео в России и СНГ. Мы представлены на всех популярных платформах: Android, iOS, web, SmartTV.
Технологическое сердце ivi.ru - многокомпонентный backend, насчитывающий десятки микросервисов, среди которых рекомендательная система, биллинг, CDN, подсистема таргетинга и "открутки" рекламы, API для клиентских приложений, подсистема для кодирования видео, подсистема аналитики и много других технологически современных штук.
Мы используем следующий стек технологий и ПО: python, django, flask, golang, postgresql, mongodb, redis, memcached, elasticsearch, git, docker.
Как узнать что ты нам подходишь?
- качественный опыт написания кода на python;
- свободное владение linux (bash, sed, grep и другие утилиты);
- знание классических алгоритмов и структур данных;
- умение грамотно излагать свои мысли письменно и устно.
Со своей стороны мы обещаем:
- Офис в 5 минутах ходьбы от м. "Дмитровская";
- У нас гибкий график, мы начинаем до 11 часов дня;
- Трудоустройство по ТК РФ;
- ДМС + стоматология после прохождения испытательного срока;
- Подписка на ivi;
- Пакет релокации для соискателей со всей России.
Nikita
Спасибо за советы, пойду пробовать :)
std::slavik
std::slavik
собственно я на конечных автоматах долго сидел на контроллерах пока операционки не начал использовать
std::slavik
операционку свою написать конечно советовать не буду, но с конечными автоматами и потоками руками стоит поработать все же
std::slavik
можно например сделать таблицу переходов - по одной оси - состояния текущие, по другой - эвенты, соответственно в ячейках - функция которая выполняется на следующем шаге конечного автомата
Tishka17
Я не понял зачем тут конечный автомат
std::slavik
для саморазвития
чтобы понимать что такое asyncio
Tishka17
Как связан конечный автомат и asyncio?
std::slavik
asyncio это по сути конечный автомат
Tishka17
да?
std::slavik
ну если не заниматься буквоедством - по сути да
Anonymous
кекос
std::slavik
как можно в одном потоке операционной системы или вообще без операционной системы реализовать конкурентную обработку событий?
Tishka17
очередь?
std::slavik
что очередь)
Julian 🏳️🌈
в одном потоке своей операционной системы или той, которую ты юзаешь?
std::slavik
без операционной системы
Tishka17
ну таски кладутся в очередь и ты просто их по одному дергаешь и кладешь в конец, например
std::slavik
не суть на самом деле
Julian 🏳️🌈
ну типо хз, в цикле вайлтру читаешь из шин, смотришь что там
std::slavik
Julian 🏳️🌈
js так работает вроде
Tishka17
std::slavik
а надо еще на события реагировать
std::slavik
и в зависимости от них чего-то вызывать
Tishka17
события обрабатываются в отдельном таске и меняют статусы других тасков
std::slavik
это называется конечный автомат
Tishka17
можно подумать треды по другому работают
Tishka17
std::slavik
асинкио это просто синтаксическая обертка
std::slavik
которая позволяет этим автоматом пользоваться в более удобном синтаксисе
но суть та же - есть события, есть флаги, есть состояния
Tishka17
Не вижу состояния
std::slavik
как по твоему переключение происходит из одной корутины в другую
Tishka17
Есть состояния тасков, но не самого обработчика тасков
Tishka17
Tishka17
Внезапно от тредов именно этот пункт только и отличается
std::slavik
то есть если корутина в цикле крутится и не попросит - ее не переключат?
Tishka17
Tishka17
Georgiy
Ну да
Pavel
std::slavik
не переключат
а что такое - когда она просит переключить ее происходит?
Tishka17
std::slavik
а кому дальше планировщик передает
Pavel
std::slavik
на основе чего он решает
что значит решит
Anonymous
Anonymous
Иисус Христос
Tishka17
Anonymous
там все сложно
Anonymous
разные приоритеты, burst-ы