pymysql

Какую библиотеку лучше всего использовать для работы с MySQL?

абстрактненько, прям как какую ОСь выбрать... тут кому как, если есть время, просто попробуй

на чём на питоне лучше делай красивый GUI?

Qt норм

Qt норм

Qt or pyqt?

Да хз какие биндинги лучше

Pyside2 я бы выбрал

Kivy

Да хз какие биндинги лучше

Qt для спп

Pyqt for py

Qt | Cross-platform software development for embedded & desktop www.qt.io Qt is the faster, smarter way to create innovative devices, modern UIs & applications for multiple screens. Cross-platform software development at its best.

@Qnut80 будет жить. Поприветствуем!

pymysql

Спасибо большое

Kivy

ужасен как электрон >_>

Qt для спп

Qt - библиотека. PyQt - сторонние биндинги к ней для питона. Есть ещё Pyside2 - официальные биндинги, сейчас называется - Qt for Python.

Qt для спп

ну скорее не для спп, а для oss

@TSCompany будет жить. Поприветствуем!

Вопрос. Есть сервер и 4 клиента, все расположены локально. Нужно было: написать ПО для удаленного управления (ОС семейства NT, запуск процесса по пути, остановка этого процесса, запуск процесса с параметрами, выключение ПК). Функционал реализовал частично, ничего сложного. Другой вопрос - как заставить клиентов постоянно слушать сервер, а для сервера постоянную возможность отправлять эти команды (persistent process, так сказать)

Вопрос. Есть сервер и 4 клиента, все расположены локально. Нужно было: написать ПО для удаленного управления (ОС семейства NT, запуск процесса по пути, остановка этого процесса, запуск процесса с параметрами, выключение ПК). Функционал реализовал частично, ничего сложного. Другой вопрос - как заставить клиентов постоянно слушать сервер, а для сервера постоянную возможность отправлять эти команды (persistent process, так сказать)

сокет?

сокет?

инициализация сокета отправка команды получение команды экзекуция команды завершение работы

Это то, что происходит сейчас. В чате для novice-ов пока ничего не ответили

Самое норм сокет, можно вебхуками

В том плане, что я уже сделал, но программа завершает свою работу и естественно завершает работу сокета. Не циклом же их создавать для поддержания работы. Мне хотя-бы конструкцию примерную для того, чтобы не убивать сокеты и плодить их заново.

Это как минимум будет неэлегантное решение, я просто хочу понять, как можно использовать сокет многократно и постоянно в реалтайме

Добрый вечер. Возможно ли сохранить данные scrapy паука в переменную? Чтобы работало по принципу url = 'example.com' spider = tableSpider() crawler = CrawlerProcess() data = [] crawler.crawl(spider, start_urls=[url], data) crawler.start() print(data) >> [1,2,3,4,5]

Это как минимум будет неэлегантное решение, я просто хочу понять, как можно использовать сокет многократно и постоянно в реалтайме

Ну оно вроде все так и работает, другое дело что через threading надо делать, или я не уловил суть вопроса

В том плане, что я уже сделал, но программа завершает свою работу и естественно завершает работу сокета. Не циклом же их создавать для поддержания работы. Мне хотя-бы конструкцию примерную для того, чтобы не убивать сокеты и плодить их заново.

Судя по описанию проблемы, вам надо поменять местами клиентскую и серверную стороны. То есть это не 4 клиента, а 4 сервера должны быть, слушающие свой сокет постоянно

@rmnppv будет жить. Поприветствуем!

@krotelo будет жить. Поприветствуем!

Здравствуйте, решил сделать GUI при помощи PyQt5, но при создании нескольких чекбоксов могу изменять состояние только последнего. Как разрешить данный вопрос?

Здравствуйте, решил сделать GUI при помощи PyQt5, но при создании нескольких чекбоксов могу изменять состояние только последнего. Как разрешить данный вопрос?

Там к каждому чекбоксу надо привязать переменную (помоему BoolVar) переключать состояния чекбоксов, изменяя значения этих переменных

Там к каждому чекбоксу надо привязать переменную (помоему BoolVar) переключать состояния чекбоксов, изменяя значения этих переменных

Спасибо, попробую

Спасибо, попробую

Стоп, возможно я перепутал с tkinter. Сейчас оптимально не подскажу, но можно для каждого CheckBox создать свой отдельный обработчик изменения состояния

Можно и один обработчик, я полгода назад реализовывал это для динамически созданного массива переключателей (сейчас уже не вспомню). Там можно получить, на какой checkbox кликали.

Здравствуйте, решил сделать GUI при помощи PyQt5, но при создании нескольких чекбоксов могу изменять состояние только последнего. Как разрешить данный вопрос?

Что-то криво написал

В том плане, что я уже сделал, но программа завершает свою работу и естественно завершает работу сокета. Не циклом же их создавать для поддержания работы. Мне хотя-бы конструкцию примерную для того, чтобы не убивать сокеты и плодить их заново.

Просто постоянно ожидание для сокета. Или циклом, или asyncio

Всем привет! Товарищи, помогите определиться со стэком так сказать. Есть задача - каждый день генирурются тяжёлые логи (несколько миллионов строк в день, 12-15 колонок), пишутся в txt-файлы. Нужно построить сервис, который будет: 1. Выводить графики\диаграммы по этим логам в реал-тайме. 2. Позволит смотреть ретропективно те же показатели. Соответственно есть два пути - либо считать все эти логи и записать их в БД (думаю на PostgreSQL), либо считывать на лету, из txt-файлов. Что будет работать быстрее? SQL или чтение из файлов? И вообще, в целом, какой подход тут более правильный? Вот если с точки зрения архитектуры?

clickhouse

Elk?

clickhouse

Я слышал о нём много плохих слов

Elk?

А вот про него вообще не слышал.

Elk, конечно

Всем привет! Товарищи, помогите определиться со стэком так сказать. Есть задача - каждый день генирурются тяжёлые логи (несколько миллионов строк в день, 12-15 колонок), пишутся в txt-файлы. Нужно построить сервис, который будет: 1. Выводить графики\диаграммы по этим логам в реал-тайме. 2. Позволит смотреть ретропективно те же показатели. Соответственно есть два пути - либо считать все эти логи и записать их в БД (думаю на PostgreSQL), либо считывать на лету, из txt-файлов. Что будет работать быстрее? SQL или чтение из файлов? И вообще, в целом, какой подход тут более правильный? Вот если с точки зрения архитектуры?

Лучше парсить данные логи, выбирать из них нужное, частично агрегируя, и записывать обратно в новые текстовые файлы для кеширования

Можно в виде докер контейнера поднять

А вот про него вообще не слышал.

Elasticsearch + logstash + kibana (elk)

Вообще как систему визуализации я хотел юзать графану (graphana), там аналитика мощная. Меня больше интересует принципиальный подход - SQL vs txt, что лучше юзать.

Вместо logstash можно fluentd. Но там вопрос парсинга

Лучше парсить данные логи, выбирать из них нужное, частично агрегируя, и записывать обратно в новые текстовые файлы для кеширования

А почему агрегированную инфу не писать в БД? Из файлов быстрее читаться будет?

Да, наверно можно elk + graphana

Не надо файлы

Elasticsearch + logstash + kibana (elk)

Спасибо, буду изучать

ERROR: S client not available

Индексацию вы по ним будете руками делать?

Не надо файлы

т.е. агрегированную инфу лучше в postgre?

Реляционная база слабо предназначена для тупого потока данных

Я слышал о нём много плохих слов

структурные логи - отличный кейс для clickhouse

Можно наверно кликхаус

Но имхо на elk больше готового

Реляционная база слабо предназначена для тупого потока данных

Это та ситуация, когда нужно переходить на No-SQL? Я просто не очень понимаю что скрывается за No-SQL, вообще о нём не знаю ничего, кроме того что он есть

Это та ситуация, когда нужно переходить на No-SQL? Я просто не очень понимаю что скрывается за No-SQL, вообще о нём не знаю ничего, кроме того что он есть

За nosql скрывается то, когда у тебя нет сложных отношений

Это та ситуация, когда нужно переходить на No-SQL? Я просто не очень понимаю что скрывается за No-SQL, вообще о нём не знаю ничего, кроме того что он есть

обычная реляционная база для такого количества вставок будет очень медленно работать

За nosql скрывается то, когда у тебя нет сложных отношений

У меня тут вообще отношений не будет, вся БД из одной таблицы на 10 колонок

Именно

обычная реляционная база для такого количества вставок будет очень медленно работать

Т.е. мне нужна необычная? Это как раз no-sql?

Прошу прощения, но есть ли кто-то способный помочь с проблемой? https://stackoverflow.com/questions/54833211/saving-scraped-data-into-csv

Именно

Я знал что этот день настанет

Т.е. мне нужна необычная? Это как раз no-sql?

(clickhouse ?) no-sql это уже нереляционная

Ага, т.е. мне нужна все ещё реляционная, но не любоая, а что-то из пары elk\clickhouse. Понял, спасибо!

Ага, т.е. мне нужна все ещё реляционная, но не любоая, а что-то из пары elk\clickhouse. Понял, спасибо!

Ластик - не реляционный

elasticsearch документный, а не реляционный (если что)

Пойду почитаю словом, похоже я несу что-то не очень корректное)

Пойду почитаю словом, похоже я несу что-то не очень корректное)

Ты написал, как выглядят исходные данные, но не описал преобразованные: их объем и формат. И спрашиваешь, где хранить именно преобразованные данные. Вот, что не так

Elk включает преобразование в букве L

Ты написал, как выглядят исходные данные, но не описал преобразованные: их объем и формат. И спрашиваешь, где хранить именно преобразованные данные. Вот, что не так

Справедливо. По четырём колонкам из 12ти расччитывается медианное и среднее (арифметичское) значения в разрезе по хронометражу (конкретный хронометраж должен меняться в зависимости от введённых ползователем значений, от 10 минут - минимальный шаг до 2 последних лет). Из остальных 8ми колонок используются по факту только две - по одной определяют результат звнока (логируются вызовы атс) по другой - определяются регион абонента, оператор мобильной связи, после чего выводятся абсолютныезначения - т.е. условно "Томская область мегафон - 16% вызовов завершено со статусом занято". Как-то так.

Справедливо. По четырём колонкам из 12ти расччитывается медианное и среднее (арифметичское) значения в разрезе по хронометражу (конкретный хронометраж должен меняться в зависимости от введённых ползователем значений, от 10 минут - минимальный шаг до 2 последних лет). Из остальных 8ми колонок используются по факту только две - по одной определяют результат звнока (логируются вызовы атс) по другой - определяются регион абонента, оператор мобильной связи, после чего выводятся абсолютныезначения - т.е. условно "Томская область мегафон - 16% вызовов завершено со статусом занято". Как-то так.

Тогда бд лучше, мне кажется. Но следует учесть, что врядли пользователь захочет получить данные за конкретные 10 минут января месяца прошлого года, и по старым периодам хранить данные по неделям, например

Тогда бд лучше, мне кажется. Но следует учесть, что врядли пользователь захочет получить данные за конкретные 10 минут января месяца прошлого года, и по старым периодам хранить данные по неделям, например

А почему лучше? Быстрее будет?

лучше, потому что данные цифровые, а не текстовые, числа из текстового файла неудобно считывать, как минимум