Доброе утро, коллеги. Использую библиотеку https://github.com/diegonehab/luasocket/blob/master/src/http.lua для rest-запроса на сервер. Но запрос падает по таймауту в 5 секунд, как увеличить timeout ожидания? Устанавливал передавал функцию create в request, задавал поле http.TIMEOUT но ничего не помогает. Подскажите как решить эту проблему, может быть кто-то сталкивался?

Он там вроде по умолчанию на 60 секунд выставлен.

Доброе утро, коллеги. Использую библиотеку https://github.com/diegonehab/luasocket/blob/master/src/http.lua для rest-запроса на сервер. Но запрос падает по таймауту в 5 секунд, как увеличить timeout ожидания? Устанавливал передавал функцию create в request, задавал поле http.TIMEOUT но ничего не помогает. Подскажите как решить эту проблему, может быть кто-то сталкивался?

-- connection timeout in seconds _M.TIMEOUT = 60

Если отваливается через 5, то что-то не так с сервисом кмк.

@korevikov а посоветовать вместо этого импользовать Lua-cURL будет совсем неподходящим? :)

На сколько я вижу функция request не принимает в себя параметр TIMEOUT По крайней мере adjustrequest(reqt) не обрабатывает поле TIMEOUT ни каким образом Но можно самому дописать чтобы при наличии поля timeout в reqt библиотека переписывала бы дефолтный таймаут И кстати дефолтный таймаут там - 60 секунд

@korevikov а посоветовать вместо этого импользовать Lua-cURL будет совсем неподходящим? :)

Спасибо за вариант, если все будет плохо попробую эту либу

На сколько я вижу функция request не принимает в себя параметр TIMEOUT По крайней мере adjustrequest(reqt) не обрабатывает поле TIMEOUT ни каким образом Но можно самому дописать чтобы при наличии поля timeout в reqt библиотека переписывала бы дефолтный таймаут И кстати дефолтный таймаут там - 60 секунд

Все же таймаут к запросу не имеет никакого отношения. Не надо делать его полем запроса.

Таймаут - это параметр соединения.

Все же таймаут к запросу не имеет никакого отношения. Не надо делать его полем запроса.

ну в общем то да...

Таймоут соединения и запроса это в общем случае разные вещи. При этом запрос может содержать несколько соединений(302). И я использую запросы с редиректом Но с точки зрения запроса таймоут определяется тем сколько клиент готов ждать результат В libcurl есть параметр для такого таймоута.

Вот пример который я использовал для распаралеливания запросов. https://gist.github.com/moteus/645497f1133ed683a85f6c6c083f1279

Ребята, есть коннектор для Apache Kafka из lua?

Ну во-первых, такой коннектор тянет за собой ещё протокольную часть, вроде luasocket. Во-вторых, насколько я вижу, протокол простенький и тупенький, главное - экранируй \r\n. В третьих, почитай про питоновую либу и сделай так же: https://docs.confluent.io/current/clients/index.html Или переделай соответствующую js-либу, там даже немного кода переписывать.

в четвёртых, в гугле первой же строкой: https://github.com/doujiang24/lua-resty-kafka

в четвёртых, в гугле первой же строкой: https://github.com/doujiang24/lua-resty-kafka

Ну вот это узкоспециализированно под openresty, ни о каких универсальных луасокетах речи не идёт. Но несложно это исправить : )

или не первой, и не для рести: https://mozilla-services.github.io/lua_sandbox_extensions/kafka/

но в пределах первой страницы

Воо, прелесть.

там упоминается openresty, он запуститься в обычном luajit?

1) кто "он"? 2) что такое "необычный" LuaJIT?

или не первой, и не для рести: https://mozilla-services.github.io/lua_sandbox_extensions/kafka/

а это запускает FFI

Ну, пока не попробуешь - не узнаешь

Кстати что такое питон-биндинги в контексте луа программирования?

1) кто "он"? 2) что такое "необычный" LuaJIT?

пакет. необычный - тот что в openresty :)

это типа у луа есть особые методы вступать в отношения с питоном?

Ну, вторая кафка - это тоже довольно специализированный модуль, написан на сишке, вроде как часть luasandbox.

это типа у луа есть особые методы вступать в отношения с питоном?

Питон циклически вращается в космическом пространстве и каждое утро пожирает луну, но за день рождается новая.

пакет. необычный - тот что в openresty :)

в опенрести вполне обычный luajit, но первый пакет зависит от lua nginx module (использует функции из таблицы ngx)

а это запускает FFI

ЩИТОА?

https://github.com/mozilla-services/lua_sandbox_extensions/tree/master/kafka

это c-модуль

какой ffi?

ЩИТОА?

Не кипеши. Карочи, берём питоновую или js-либу и аккуратно переписываем под луасокет, ничего сложного, дело (полу)часа.

это если есть либа на чистом питоне, а не тоже c-модулем

иначе проще будет взять вон то по ссылке выше :)

Кафка - типа "языконезависимая" лабудонь, обычный TCP-коннект, так же как общение с редиской или http или sql.

а я думал питон как то можно типа встроить в луа программу

ну, типа есть распространенная методика встраиванья питон-либ

а я думал питон как то можно типа встроить в луа программу

Можно но дорого и не нужно. Как раз с ffi - можно на лету. Но опять таки, есть луа, зачем питон сверху?

а я думал питон как то можно типа встроить в луа программу

io.popen("python moo.py")

а, ффи у вас не только на Си распространяется?

io.popen("python moo.py")

Это если отдельно стоит интерпретатор.

а для ффи типа интерпретатор не нужен?

а, ффи у вас не только на Си распространяется?

при чём тут Си-Не-Си? ffi - позволяет загрузить библиотеку. А потом в c-like виде объявить заголовки. После чего уже можешь на Lua писать. Но зачем питон это не объясняет

а для ффи типа интерпретатор не нужен?

он имел в виду интерпретатор питона. А для ffi, да, он не нужен.

при чём тут Си-Не-Си? ffi - позволяет загрузить библиотеку так а если либа это .pyc файл?

.pyc файл это не библиотека

а, ффи у вас не только на Си распространяется?

Cpython можно динамически через ffi подключить как либу и гонять на ней скрипты. Проблемы?

а, понял

это скомпилированный в питонобайткод питоноскрипт

интересно, а если питон скомпилировать с флагом -rdynamic то ффи больше функций оттуда увидит?

а, хотя это не шаред обжект хз

какой ffi?

так разве оно не вызывает код c через ffi? http://luajit.org/ext_ffi.html The FFI library allows calling external C functions and using C data structures from pure Lua code.

Доброе утро. Не силен в луа, кто может подсказать, что происходит на 177 стр? - https://github.com/diegonehab/luasocket/blob/master/src/http.lua

так разве оно не вызывает код c через ffi? http://luajit.org/ext_ffi.html The FFI library allows calling external C functions and using C data structures from pure Lua code.

FFI нужен только для очень определённых вещей, тебе о них на текущем уровне знать не обязательно. Луа (без FFI) спокойно жуёт сишные библиотеки написанные для неё (подключанная Lualib и DLLExport с массивом луашных функций). И есть множество библиотек, расширяющих стандартный функционал луёв. Например, добавляющие сеть (luasocket) или utf8 или json (cjson) или ещё миллиард мелочей. FFI нужен для того чтобы подключить к луа сишную библиотеку, которая не предназначена для луа.

меня беспокоит overhead на то чтобы запускать C из Lua

меня беспокоит overhead на то чтобы запускать C из Lua

0. Оверхед такой же как на вызов луашных функций. Они ВСЕ сишные (даже те которые ты написал на луа, после разогрева, в варианте с ffi).

То есть, например если я запускаю сишную функцию из файбера tarantool (почти как корутина), то не происходит смена контекста и небольшой lock главного треда?

Хех, корутины не дают тебе многопоточности : ) Все локи луёвых или сишных функций - всё равно локи.

Когда ты делаешь: str = io.open('file.txt'):read('*all') - ты блокируешь исполнение, пока файл не будет прочитан, а если файл недоступен или диск в бедблоках - оно может довольно долго читать и долго блокировать.

И кстати, луашный io.open() - это прямая связка с сишным io. Дёргая это ты дёргаешь функции из стандартной сишной либы.

Многое проясняется :) тогда зачем ffi?

The FFI library allows calling external C functions

См выше.

The FFI library allows calling external C functions

для использования библиотек ОС, для которых нет готовых модулей-прокладок для Lua

Многое проясняется :) тогда зачем ffi?

Вот так выглядит библиотека, которая компилируется в dll/so-либу, которую жуёт любая версия Lua, хоть с ffi хоть без. https://github.com/starwing/luautf8/blob/master/lutf8lib.c Написана по данной технологии: https://www.lua.org/pil/26.2.html А вот так написана типичная сишная библиотека. Что-то не видно никаких манипуляций с луа-стеком, да и вообще ничего в луа не выгружается! Как так? Как её подключать? Что с ней делать? https://github.com/carterjones/hello-world-dll/blob/master/hello-world.cpp Вариантов два: 1. Переписывать под адаптацию к Lua. 2. Если в проекте используется luajit, воспользоваться грязным ffi-хаком и подрубить напрямую. Все symbol'ы будут выдраны, все конверсии произведены автоматически.

Пока в коде библиотеки не встретится __stdcall

:)

Ну такое. Адаптировать нужно будет чуть больше, только и всего.

Концепция ффи насколько я помню пришла из лиспов/смл. Там как раз для этой цели использовали

но везде был один ABI - юникс сис 5

сдекл по современному

Это избыточная информация даже для меня : )

лiл)

Вот так выглядит библиотека, которая компилируется в dll/so-либу, которую жуёт любая версия Lua, хоть с ffi хоть без. https://github.com/starwing/luautf8/blob/master/lutf8lib.c Написана по данной технологии: https://www.lua.org/pil/26.2.html А вот так написана типичная сишная библиотека. Что-то не видно никаких манипуляций с луа-стеком, да и вообще ничего в луа не выгружается! Как так? Как её подключать? Что с ней делать? https://github.com/carterjones/hello-world-dll/blob/master/hello-world.cpp Вариантов два: 1. Переписывать под адаптацию к Lua. 2. Если в проекте используется luajit, воспользоваться грязным ffi-хаком и подрубить напрямую. Все symbol'ы будут выдраны, все конверсии произведены автоматически.

Немного не понимаю зачем нужны всякие манипуляции с lua-стеком? Вот есть библиотека lua-utf8 и функция utf8.upper она на вход принимает указатель на память, считывает и возвращает другой указатель. Зачем здесь манипуляции с lua-стеком, когда можно сделать маллок, записать туда данные и вернуть другой указатель?

когда можно сделать маллок, записать туда данные и вернуть указатель? этим занимается сама либа

а чтобы "вернуть" как минимум уже надо класть на луашный стек

если он отличается чем то от колстека

Это если бы мы были в мире сишки. А луашка хочет чтобы сишка взяла луа-строчку и доп-аргументы, провернула с ней какие-то манипуляции и вернула бы в стек. Пользование этой либой выглядит так: utf8 = require'lua-utf8' newstr = utf8.sub('Текст на русском с жопными символами длиной больше одного байта ▼▲▼▲▼', 2, -3)

То есть, в луа должна быть выгружена сишная функция sub, которая вытаскивает cchar * переданный первым аргументом, вытаскивает int'ы переданные вторым и третьим, делает с ними грязь и выплёвывает обратно в луа.

а почему ffi - это грязный хак? Он дает большой overhead?

Потому что это нормально работает только в одном месте: в luajit.

Ffi-биндинг или либа на ffi-методах (использующая сишные структуры, например) не работает в lua 5.1-5.4 потому что там нет ffi, а они сами довольно активно используются много где. Поэтому она почти одноразовая или "для избранных" у которых оно есть. Поэтому lua-сообщество слегка разделено на два лагеря.

Когда ты делаешь: str = io.open('file.txt'):read('*all') - ты блокируешь исполнение, пока файл не будет прочитан, а если файл недоступен или диск в бедблоках - оно может довольно долго читать и долго блокировать.

Ну можно эмулировать с помощью асинхронных библиотек

Ну можно эмулировать с помощью асинхронных библиотек

Ты видел где-нибудь асинхронный io.read в виде библиотек? Я - нет.

Ну и есть luaffi правда он помедленнее чем просто lua :(

Потому что там как раз оверхед, это не "встроенное в язык решение" а надстройка. Такая же как в ноде или питоне. Там тоже есть подобное счастье. Не настолько вырвиглазно магически-крутое, но тем не менее.

когда контроля надо сорсами нет, можно применить

но вообще лучше написать биндинг

Ты видел где-нибудь асинхронный io.read в виде библиотек? Я - нет.

Я да :) https://github.com/moteus/lua-lluv/blob/master/src/lua/lluv/cofs.lua

в какой лагерь я попал? :)

Я да :) https://github.com/moteus/lua-lluv/blob/master/src/lua/lluv/cofs.lua

Ничоси, сам писал, да? : )

У luv вроде тоже есть подобное

Ну о реализовать такое не сложно на любой библиотеки