А что это за конструкция такая странная? не получается нагуглить loadstring[====[$usercode]====] почему не loadstring($usercode)

это неудачная попытка защититься от инжектов =)

А что это за конструкция такая странная? не получается нагуглить loadstring[====[$usercode]====] почему не loadstring($usercode)

Можешь из пыхи вызвать что-то типа: Lua->call("loadstring",$usercode);

Можешь из пыхи вызвать что-то типа: Lua->call("loadstring",$usercode);

Да, щас пытаюсь. Проблема пока в том, что в loadstring не получается передать кастомный _ENV

Вот, разобрался, всем спасибо 😌 Никаких инжектов вроде $lua = new Lua(); $lua->eval(/** @lang Lua */ <<<LUA function sandbox(code) local scope = loadstring(code) local userEnv = { loadstring = loadstring, print = print, pairs = pairs, } userEnv._G = userEnv setfenv(scope, userEnv) -- для >= 5.2 нужен полифилл return scope() end LUA); $userCode = /** @lang Lua */ <<<LUA for k in pairs(_ENV) do print(k, "\\n") end LUA; echo $lua->call('sandbox', [$userCode]);

это неудачная попытка защититься от инжектов =)

Не от инжектов, а от многострочных строк. Редко когда люди используют вложенность этой фигни 4 и выше. И вот тут инжектнуть можно только если ты знаешь как оно устроено.

Не от инжектов, а от многострочных строк. Редко когда люди используют вложенность этой фигни 4 и выше. И вот тут инжектнуть можно только если ты знаешь как оно устроено.

Так а что этот оператор делает в итоге? [==== ====]

local str = [[ многострочная строка ]] local str = [=[ многострочная строка с [[двойными скобками]] внутри ]=]

Не от инжектов, а от многострочных строк. Редко когда люди используют вложенность этой фигни 4 и выше. И вот тут инжектнуть можно только если ты знаешь как оно устроено.

обычно пентестеры автоматизируют брут подобных вариантов, поэтому система уже потенциально уязвима, вопрос времени и интереса

local str = [[ многострочная строка ]] local str = [=[ многострочная строка с [[двойными скобками]] внутри ]=]

А, спасиб, тогда мне это не грозит

&sandboxcode = <<<EOD ... do local _ENV = userenv loadstring[====[$usercode]====]() end EOD; Потом эвалишь это дело.

Кстати тут код внутри loadstring не реагирует на _ENV, поэтому тут нужен setfenv

А, возможно. Ну тут указание энвайрнмента для отдельной функции.

А, возможно. Ну тут указание энвайрнмента для отдельной функции.

Функция/скоп, как раз и есть пользовательский код. Ему без разницы, что выше другой _ENV прописан, он берёт глобальный

Я вот понял. Но вообще странно.

11.0000000003

пшш

тут есть кто-то: а) живой б) кто сталкивался с многопоточностью в Lua (и многопоточностью как таковой) ?

Оригинально

ещё можно живых людей с опытом разработки C extensions для луи.

тут есть кто-то: а) живой б) кто сталкивался с многопоточностью в Lua (и многопоточностью как таковой) ?

б) ну есть

б) ну есть

какое решение используешь?

Ну, хочешь многопоточку в Луа – запускай несколько луастейтов :)

ага, класс

и тут перед нами два стула

А для многозадачности есть корутины

на первом — luaL_newstate() и невозможность переносить стек между состояниями

на втором — lua_newthread() — и крайне интересные подводные камни, с которыми я уже два дня не могу справиться

подводные камни выглядят как рандомные сегфолты

причём только при высокой нагрузке (скажем, 10000 запросов в секунду на простенький http-сервер)

Есть готовые решения для самих луёв, вроде lua lanes.

ну тогда уж cstates

но нет

как вообще дебажить сишные модули? gdb почти ничего не видит

причём только при высокой нагрузке (скажем, 10000 запросов в секунду на простенький http-сервер)

Вот для подобной задачки, нужно немножко больше чем "многопоточность". Тут нужно взять все io-операции (включая сокеты), и сделать их неблокирующими, переключая поток на другую задачу пока блокирующий чего-то ждёт. То есть, полноценный таск-шедулер. И эти 5K rps — можно гонять на одном единственном потоке какого-нибудь Pentium 4.

пс

Ща восстановлю

https://pastebin.com/n50ipjBt

оно какбэ даже работает

Ничоси хаки ))

чойта

weakref

где-то нагуглилось, насколько помогает — без понятия

вообще, помогает collectgarbage("stop"), но ненадолго

примерно минут на пять стресс-теста

потом приходит дядя oomkiller

вообще, помогает collectgarbage("stop"), но ненадолго

Карочи, что ты тут делаешь: 1. Для каждого запроса создаёшь ТЯЖЁЛЫЙ тред. Это ужасно, чудовищно медленно. 2. После использования — не завершаешь его, он так и остаётся висеть хендлером )))

pthread - это вроде потоки ядра?

ага, ок)

Да, это тяжёлые потоки.

Карочи, что ты тут делаешь: 1. Для каждого запроса создаёшь ТЯЖЁЛЫЙ тред. Это ужасно, чудовищно медленно. 2. После использования — не завершаешь его, он так и остаётся висеть хендлером )))

так, а как надо?

так, а как надо?

Тебе достаточно условно 1-16 тяжёлых потоков на все 10ккккккккк rps. Сколько у тебя ядер на компе минус один.

Тебе достаточно условно 1-16 тяжёлых потоков на все 10ккккккккк rps. Сколько у тебя ядер на компе минус один.

это при наличии неблокирующего ввода-вывода

Конечно : )

А при наличии блокирующего — процессор начинает метаться между тяжёлыми потоками, недоделывает их, мечется на другие и тратит безумное количество времени чисто на свитчи.

Так что обрабатывать на одном ядре в один поток оказывается тупо быстрее чем условно на четырёх, если ты открыл пару сотен потоков ))

Карочи, что ты тут делаешь: 1. Для каждого запроса создаёшь ТЯЖЁЛЫЙ тред. Это ужасно, чудовищно медленно. 2. После использования — не завершаешь его, он так и остаётся висеть хендлером )))

про пункт два можно подробнее?

Как работают тяжёлые потоки (потоки ядра)?

Есть таск-шедулер встроенный в ОС. Он переключает ядро процессора между задачами. Процесс переключения — довольно медленный (много наносекунд, ибо запоминание, свитч стека/кеша и ещё много чего).

если ничего не путаю, то pthreads как раз использует легкие треды

А лёгкие треды — это корутины ))

Считай что очень много goto в прямом коде, исполняющемся в одном потоке. Никакой многопроцессорности.

что-то мне подсказывает, что I/O планировщик в линуксе умнее меня

но это не точно

Так что если ты видишь "многопроцессорность" — это точно дёрганье тяжёлых тредов ОС, которые медленно создаются, медленно удаляются и медленно переключаются.

к сожалению, нормальных неблокирующих сокетов в луа не подвезли

И нагруженных тяжёлых тредов не должно быть больше чем ядер проца минус один (потому что одно из ядер типа занято переключениями, всякими ОС-штуками, приёмом сокетов и ещё много чего)

А что конкретно ты хочешь?

Возьми OpenResty. Там все задачи решены.

лол

с него и бегу

Чего это? ))

Ну хорошо, тогда luvit: https://luvit.io/

тыкал

правда, отдельно libuv

при нагрузке память превращается в кашу

А ты плоди меньше объектов. Переиспользуй. Меньше размечай память в рантайме.

есть, собственно, одно рабочее решение

называется tarantool

но это зашквар и вообще мэйлру

есть, собственно, одно рабочее решение

Нет решения "я хочу писать жопой, и чтобы всё магически работало с космической скоростью" )) Нагруженные штуки приходится писать как нагруженные штуки. Правил, которым приходится следовать — немного, но они есть.