Там все не так просто, похоже

Там все не так просто, похоже

Да я подобную статью на стэке видел ранее, но она абсолютно не годилась для комплексных структур. Так как в сети в основном пишут в качестве решения простые структуры с int значениями. А что делать с многомерными массивами или разнотипными структурами умалчивается

Да я подобную статью на стэке видел ранее, но она абсолютно не годилась для комплексных структур. Так как в сети в основном пишут в качестве решения простые структуры с int значениями. А что делать с многомерными массивами или разнотипными структурами умалчивается

напиши функцию которая преобразует на С твою структуру в питоновский объект. или возьми cython

Вопрос адресую тем у кого был опыт разработки высоко-нагруженных сокет серверов. Какую библиотеку посоветуете чтобы работала с openssl и в перспективе могла обойти ограничение 10к? P.S. Сейчас есть решение через select, но почему то после рандомного количества соединений сервер перестает принимать входящие, помогает только перезапуск.

Вопрос адресую тем у кого был опыт разработки высоко-нагруженных сокет серверов. Какую библиотеку посоветуете чтобы работала с openssl и в перспективе могла обойти ограничение 10к? P.S. Сейчас есть решение через select, но почему то после рандомного количества соединений сервер перестает принимать входящие, помогает только перезапуск.

мб проблема в том, что у тебя ядро не затюнено под большое кол-во соединений?

мб проблема в том, что у тебя ядро не затюнено под большое кол-во соединений?

Сервер на vps под 7 centos. Если со стороны провайдера ничего не делали то ось должна быть в стоке

крч тюнь ядро

Странный момент что даже если оставить на некоторое время сервер и попытаться снова соединиться то ничего не выходит. Поэтому вариант с забитыми портами как-то не сходится

проблема в том, что select может обрабатывать максимум FD_SETSIZE сокетов (обычно равно 1024)

проблема в том, что select может обрабатывать максимум FD_SETSIZE сокетов (обычно равно 1024)

Я это делал, ставил 4096, но это вопрос времени и он снова фд забивает

используй любую асинхронную библиотеку, работающую поверх epoll \ kqueue

например asyncio

используй любую асинхронную библиотеку, работающую поверх epoll \ kqueue

+

Поэтому решил что решать нужно более кардинально, с библиотекой. Но там беда с другой стороны, не удается подружить ее с openssl

Epoll

как именно тебе нужно их "подружить" ?

но в конечном итоге проблема будет все равно в том, что ядро не затюнено и оно будет тупо резать соединения

как именно тебе нужно их "подружить" ?

Сервер нужен для двустороннего шифрования. У клиента свой сертификат и сертификат сервера. В сети что решения были схожи с https, работают только в одном направлении

Вопрос адресую тем у кого был опыт разработки высоко-нагруженных сокет серверов. Какую библиотеку посоветуете чтобы работала с openssl и в перспективе могла обойти ограничение 10к? P.S. Сейчас есть решение через select, но почему то после рандомного количества соединений сервер перестает принимать входящие, помогает только перезапуск.

Вынести ssl в nginx/haproxy

ты хотел сказать для аутентификации клиента

потому что шифрование там и так двусторонее

если вы используете TLS

а не городили свой велосипед

ты хотел сказать для аутентификации клиента

Да

Да

Проверяй сертификат по цепочке на nginx, через кастомный хэдер передавай в приложение его id и дальше уже обрабатывай как хочешь

Или не id, а fingerprint

Да

https://www.electricmonk.nl/log/2018/06/02/ssl-tls-client-certificate-verification-with-python-v3-4-sslcontext/

https://www.electricmonk.nl/log/2018/06/02/ssl-tls-client-certificate-verification-with-python-v3-4-sslcontext/

Я так реализовал, похожее решение https://privnote.com/YjBXoLsZ#RACEleuz3

Проверяй сертификат по цепочке на nginx, через кастомный хэдер передавай в приложение его id и дальше уже обрабатывай как хочешь

Насчет nginx сразу подумал, но решение имхо не самое красивое. Вопрос с заголовками и id меня не очень прильщает.

Народ, кто-то писал скрипты для приставок mag250 или что-то подобное?

Насчет nginx сразу подумал, но решение имхо не самое красивое. Вопрос с заголовками и id меня не очень прильщает.

Если ты собираешься хранить данные в БД, то пиши API-сервер и делай веб-морду

Если ты собираешься хранить данные в БД, то пиши API-сервер и делай веб-морду

Это само собой. Давно реализовано

Это само собой. Давно реализовано

Не тебе я хотел ответить, ой не тебе =)

Вопрос: А есть живые свидетели удаленного исполнения и дэбага кода через PyCharm в среде Windows? Суть в том, что есть VM на которой есть PyCharm и VPN, и есть еще одна удаленная машина на которой нужно запускать скрипты. Доступ ко второй машине "тестовый стэнд" по RDP. Работать через RDP в PyCharm с задержкой 150-250 мс, это АД.... Хочеться работать с кодов прям внутри ВМ, а запускать скрипт на "тестовом стенде", но при этом смотреть, что он делает (дэбаг) на ВМ. Ссылки на гайды привествуются. Предложения сменить все на Linux нет. Всем спасибо.

Привет всем, что-то я туплю, тут надо либо как-то правильно жкранировать или правильно передать В общем вопрос такой У меня есть часто встреваемый кусок кода, хочу обернуть его в функцию Делаю я его после insert, чтобы проверить отработал ли инсерт и вставились ли данные а базу Вот код cursor.execute("select * from table where CONFIG_ID = '12345678'") res = cursor.fetchall() if res: print("done") else: print("not found") Хочу обернуть в функцию, чтобы было что-то вроде def check_copmlite_insert(CONFIG_ID): cursor.execute("select * from table where CONFIG_ID = 'CONFIG_ID'") res = cursor.fetchall() if res: print("done") else: print("not found") и дергать функцию передавая йе только цифры, но понятно что тут строки и ковычки и не очень все это понятно как рабоатет Подскажите пожалуйста

"select * from table where CONFIG_ID = '{CONFIG_ID}'".format(CONFIG_ID)

или просто f"select * from table where CONFIG_ID = '{CONFIG_ID}'"

Я не эксперт, но не рекомендуется использовать формат для запросов, воде как

Насчет nginx сразу подумал, но решение имхо не самое красивое. Вопрос с заголовками и id меня не очень прильщает.

Why?

Я не эксперт, но не рекомендуется использовать формат для запросов, воде как

можно, конечно туда инъекию зарядить

Ну если данные очищенные - почему нет

Да все равно не работает, я так раньгше пробовал, но думал может что не так делаю, тут тоже аналогичный пример кинули, пока не понятно

но вопрос был, как подставить =)

А что может не работать

Через знак вопроса вроде

Да все равно не работает, я так раньгше пробовал, но думал может что не так делаю, тут тоже аналогичный пример кинули, пока не понятно

Что значит все равно не работает. Какая ошибка или результат, какие входные данные

Why?

Сам как считаешь, какое более красивое решение, добавить nginx и делать решение по идентификации с заголовками и id, или сделать все в самом python?

Сам как считаешь, какое более красивое решение, добавить nginx и делать решение по идентификации с заголовками и id, или сделать все в самом python?

Nginx и так наверняка есть

Вообще, он пошустрее ssl обрабатывает чем из питона

Что значит все равно не работает. Какая ошибка или результат, какие входные данные

check_copmlite_insert(12345) def check_copmlite_insert(CONFIG_ID): cursor.execute("select * from table where CONFIG_ID = '{CONFIG_ID}'".format(CONFIG_ID)) res = cursor.fetchall() if res: print("done") else: print("not found") Error такой Traceback (most recent call last): File "orcl_db_test.py", line 79, in <module> check_copmlite_insert(123456) File "orcl_db_test.py", line 70, in check_copmlite_insert cursor.execute("select * from table where CONFIG_ID = '{CONFIG_ID}'".format(CONFIG_ID)) KeyError: 'CONFIG_ID' [Finished in 0.5s with exit code 1]

А ты заранее строку отформатируй, потом передай

потому что это именованный параметр

так format() не работает

А ты заранее строку отформатируй, потом передай

в смысле, я же просто цифру передаю, и хочу чтобы она подставилась в запрос Вот - формат не вариант, а что можно использовать?

и более того не нужно форматировать запросы через строковые операции

check_copmlite_insert(12345) def check_copmlite_insert(CONFIG_ID): cursor.execute("select * from table where CONFIG_ID = '{CONFIG_ID}'".format(CONFIG_ID)) res = cursor.fetchall() if res: print("done") else: print("not found") Error такой Traceback (most recent call last): File "orcl_db_test.py", line 79, in <module> check_copmlite_insert(123456) File "orcl_db_test.py", line 70, in check_copmlite_insert cursor.execute("select * from table where CONFIG_ID = '{CONFIG_ID}'".format(CONFIG_ID)) KeyError: 'CONFIG_ID' [Finished in 0.5s with exit code 1]

Руки надо отрывать тем кто параметры в SQL запросы засовывает через форматирование строк.

в смысле, я же просто цифру передаю, и хочу чтобы она подставилась в запрос Вот - формат не вариант, а что можно использовать?

ну в смысле в виде format это выглядело бы как '{CONFIG_ID}'.format(CONFIG_ID=CONFIG_ID)

Руки надо отрывать тем кто параметры в SQL запросы засовывает через форматирование строк.

ну я спросил, мне подскажали, но да на лицо инъекция

но так делать плохо

но так делать плохо

а как хоршо?

нужно использовать возможности драйвера базы данных

в зависимости от того какой именно у тебя используется

в спецификации Python по подключению баз данных обычно используются ? плейсхолдеры

но некоторые драйвера от этой спецификации отступают

смотри документацию к библиотеке, которую используешь

Ну база у меня оракловая, а чтобы с ней рабоать в питоновском скрипте юзаю import cx_Oracle

Почему у меня не работает copy.deepcopy()? Допустим код command = tools.get_attr_recursive(scripts, command_class_name) # command.name по умолчанию пуст # print(command.name) # "" self.commands[command_name] = copy.deepcopy(command) self.commands[command_name].name = command_name print(command.name, self.commands[command_name].name) # command.name == self.commands[command_name].name # True

Ну база у меня оракловая, а чтобы с ней рабоать в питоновском скрипте юзаю import cx_Oracle

https://cx-oracle.readthedocs.io/en/latest/cursor.html#Cursor.execute

смотри второй и третий параметры

По питонячему страндарту DB API делается вот так cursor.execute( 'SELECT * FROM table WHERE v = %s AND t = %(t)s', 10, t=20 )

Адаптер сам подставит значение в нужном виде, добавит кавычки если это строка, заэкранирует всё правильно

Руки надо отрывать тем кто параметры в SQL запросы засовывает через форматирование строк.

Не все БД и драйвера это поддерживают.

Насколько знаю - все мейнстрим драйвера поддреживают, т.к. этому стандарту уже куча лет.

Не все БД и драйвера это поддерживают.

тогда надо отрывать руки создателям этих драйверов)

в любом случае не понятно, что мешает соответствовать DB-API 2.0

Есть такая база - Clickhouse - у них основной интерфейс HTTP

те же самый select и insert отправляются пост запросами

Ну сравнил однако, нормальные реляционые базы, с "модной и молодёжной" NoSQL

Добрый день. Нужен питонщик для удаленной работы на постоянной основе для разработки кроссплатформенных проектов-ботов (серверные приложения). Для каждого проекта пишется подробное ТЗ с прототипами, проговариваются все тонкие моменты. На данный момент есть текущий начатый проект, есть ТЗ для него, нужно дописать функционал. Разработка ведется в git. Причина поиска нового разработчика: личные обстоятельства текущего, по которым уделяется мало времени проекту. Работа делится на несколько этапов, оплата по факту сдачи этапа, может быть хоть каждый день. Оплата желательно на карту сбербанка или другие ЭПС в РФ, т.к. переводы за пределы требуют большего времени и дополнительных комиссий. Нам нужен разработчик, который будет в будни по Мск на связи, оперативно исправлять баги, соблюдать (хотя бы не сильно затягивать) сроки. Проектов много, все они каким-то образом связаны с криптобиржами. Поэтому большой плюс тому кандидату, у которого есть опыт или интерес к подобным ботам. Ставка за час работы 700-800 рублей. Если сработаемся, то возможно повышение ставки до 1000 рублей и выше, в зависимости от вашего уровня. Либо можем оплачивать не по часам, а по объему работ за каждый этап - как вам удобнее. От нас всегда опреативная обратная связь, помощь, ответы на вопросы, своевременная оплата. Нам нужен ответственный человек в команду. Требуются знания: python, docker, redis, js. Текущая задача, доработать текущий проект. Еще 2 проекта на стадии написания ТЗ. Если ваши знания есть в yii2, то возможно подключение к большому международному проекту, тоже в сфере криптовалют. #работа

Ну сравнил однако, нормальные реляционые базы, с "модной и молодёжной" NoSQL

Где ты увидел, что это NoSQL ?

Есть такая база - Clickhouse - у них основной интерфейс HTTP

точно? https://clickhouse.yandex/docs/ru/interfaces/tcp/

точно? https://clickhouse.yandex/docs/ru/interfaces/tcp/

Рекомендуемый HTTP

да даже в http интерфейсе есть разделение на POST и GET, которые уже можно использовать для экранирования

да даже в http интерфейсе есть разделение на POST и GET, которые уже можно использовать для экранирования

А кто спорит? Я просто не вижу проблемы в том, чтобы проставить параметры в запрос через формат, если все равно потом запрос экранируется

Смотрю их доку - судя по всему у них нет "родного" драйвера для python

Только от сторонних разработчиков

Которые, видимо как многие вопрошающие тут, ни разу не слыхали про DB API

А кто спорит? Я просто не вижу проблемы в том, чтобы проставить параметры в запрос через формат, если все равно потом запрос экранируется

ну как бы инкапсуляция

экранироваться запрос может по разному, вы от этого перестаете зависеть