А еще бывает что библиотека есть, а исходников от неё нету

а это номарльно, что в этом pam модуле(pam_tally) не используется ключевое слово extern перед стандартной функций

Еще разве в pam модулях используется int main(){}?

добрый вечер, помогите разобраться в С коде xmlsec библиотеки.

https://pastebin.com/5nEkZDWp

задача добраться до гостовских алгоритмов

Вопрос: Если у нас есть utf-16 строка, мы ведь не можем за O(1) получить юникод символ по индексу?

Не можем. Суррогатные пары.

Не можем. Суррогатные пары.

В .NET строки хранятся в UTF-16, получается, что там индексация каждый раз всю строку пробегает?

получается, что там господа интересным образом определяют символ

В qt тоже вроде utf-16. Как там реализована, никто не знает?

там хранится все в QChar

там хранится все в QChar

Что "всё"?

Все, кто хранят в UTF-16, на запрос по индексу символа возвращают итый юнит кодировки

Это значит, что как только у вас суррогатная пара, у вас "символ" не поместится в unt16_t.

И вы его половинки только получаете.

Все, кто хранят в UTF-16, на запрос по индексу символа возвращают итый юнит кодировки

Дак а сложность то О(N) получается?

Ну нет, O(1)

Просто вернут не символ, а code unit

С какой-то вероятностью это символ целиком.

Но не обязательно.

Что "всё"?

а, не обращай внимания. Тоже суррогатные пары в двух кучарах, не так прочел доку сначала

Ну нет, O(1)

А code unit сколько занимает? 2 байта?

(другое дело, что по возвращённому значению понятно, весь это символ или нет)

Для UTF-16 юнит 2байтовый

Для UTF-16 юнит 2байтовый

Как тогда можно за О(1) индексировать, я не понимаю? Если у нас первый символ кодируется суррогатной парой (4 байта), а мы запрашиваем второй символ, то как он к нему обратится? Если просто вернуть второй code unit, то это будет как бы кусок первого символа, а не второй...

просто так сложилось, что суррогатные пары появились не сразу и когда-то юнит равнялся символу

В qt тоже вроде utf-16. Как там реализована, никто не знает?

Используй QChar::unicode.

Как тогда можно за О(1) индексировать, я не понимаю? Если у нас первый символ кодируется суррогатной парой (4 байта), а мы запрашиваем второй символ, то как он к нему обратится? Если просто вернуть второй code unit, то это будет как бы кусок первого символа, а не второй...

Я имел в виду, что операторы доступа работают за O(1), потому что возвращают не символы. Символ только за линию можно найти. Итерация по всем символам целиком тоже за линию.

ну и все продолжают делать вид, что эта странная 16-битовая сущность представляет что-то похожее на символ

То есть, если записать в QString какой нибудь символ из 1+ кодовой страницы (например эмоджи какую нибудь), то всё сломается?

Не сломается, всё норм, но уже нельзя будет методом str[i] увидеть емоджу.

Не сломается, всё норм, но уже нельзя будет методом str[i] увидеть емоджу.

Ясно, теперь я немного понял) Спасибо всем!

Не сломается, всё норм, но уже нельзя будет методом str[i] увидеть емоджу.

сломается, потому что указав индекс после эмоджи ты получишь не символ после эмоджи, а вторую часть пары

Ну в этом плане да.

Хотите без таких трюков -- конвертируем в UTF-32, но тут вас могут ненормализованные символы подловить.

А как вообще на win api работают с кодировками? В программе используют только utf-8, а конвертируют в utf-16 при передаче непосредственно в win api ?

Да никак, система в UTF-16 живёт, не проверяя, что там внутри не херня.

Но там есть и парные методы для ASCII

Я слышал, что чуваки на Расте наткнулись, что WinAPI может отдать отдельный символ из суррогатной пары и молчать

Просто вернут не символ, а code unit

И не всегда i-й.

А как вообще на win api работают с кодировками? В программе используют только utf-8, а конвертируют в utf-16 при передаче непосредственно в win api ?

Наоборот, в Шиндовс нет utf8 как класса. Она может, но... цука, не хочет..

https://twitter.com/ericniebler/status/1005413279781609473?s=19

А смысл доставать i-ый символ из utf-16? Обычно это или вовсе не надо, или лучше на harfbuzz положиться.

Сейчас просто модно мешать в одной строке написание слева направо и справа налево. i-ый символ вот ни разу не помогает.

А как вообще на win api работают с кодировками? В программе используют только utf-8, а конвертируют в utf-16 при передаче непосредственно в win api ?

MultiByteToWideChar/WideCharToMultiByte CP_UTF8

Сейчас просто модно мешать в одной строке написание слева направо и справа налево. i-ый символ вот ни разу не помогает.

Ну тут же в порядке хранения имеется в виду, явно.

Я не знаю других use-кейсов доступа к одиночным буквам в строке, не относящихся к визуализации.

А просто посимвольный разбор строки, не?

Чтобы даже визуализировать, уже надо на символы разбить

А просто посимвольный разбор строки, не?

Какие use-кейсы у посимвольного разбора строки? Подсчитать частоту букв? Такая задача для студентов или для собеседований, окей. А визуализировать юникод — будьте добры с эмодзи, с написанием справа-налево, с индийскими и тайскими модификаторами и глиптами — harfbuzz.

Какие use-кейсы у посимвольного разбора строки? Подсчитать частоту букв? Такая задача для студентов или для собеседований, окей. А визуализировать юникод — будьте добры с эмодзи, с написанием справа-налево, с индийскими и тайскими модификаторами и глиптами — harfbuzz.

Ну задачи разные бывают, не придумывай за других. Ходя XY конечно никто не отменял

Какие use-кейсы у посимвольного разбора строки? Подсчитать частоту букв? Такая задача для студентов или для собеседований, окей. А визуализировать юникод — будьте добры с эмодзи, с написанием справа-налево, с индийскими и тайскими модификаторами и глиптами — harfbuzz.

Задачи такой нет. Спросил исключительно, чтобы разобраться в теме :)

Ни

Какие use-кейсы у посимвольного разбора строки? Подсчитать частоту букв? Такая задача для студентов или для собеседований, окей. А визуализировать юникод — будьте добры с эмодзи, с написанием справа-налево, с индийскими и тайскими модификаторами и глиптами — harfbuzz.

нет

есть кейсы без эмодзи

и прочей дичи

А кейсы без иврита есть?

есть, прикинь

Какую библиотеку можно взять для чтения xml? Самую легковесную...

tinyxml знаю

Господа

Как работает __builtin_unreachable()? И какие оптимизации может применить компилятор в реальной жизни?

Интересует именно логическая связь между тем, что я компилятору сообщил что он не может попасть в какую-то ветку кода и тем какие выводы он из этого может сделать при генерации кода

Ну кроме тривиальных вещей, типа отчекрыжить код, который написан после __builtin_unreachable().

Ну кроме тривиальных вещей, типа отчекрыжить код, который написан после __builtin_unreachable().

Уже выясняли, что если написать if (cond) __builtin_unreachable();, далее по коду компилятор будет считать, что cond == false

Уже выясняли, что если написать if (cond) __builtin_unreachable();, далее по коду компилятор будет считать, что cond == false

А какой тогда смысл в этой инструкции?

нет, я хочу написать функцию, которая преобразует int в диапазоне '0'..'9' в соответствующую цифру

кажется, тебе нужен [[unreachable]]

не гуглится

это не стандарт, но есть в gcc вроде

__builtin_unreachable

я хочу синтаксически int to_digit(int c) { std::undefined_behavior(!('0' <= c && c <= '9')); return c - '0'; }

if ('0' <= c && c <= '9') return c - '0'; __builtin_unreachable()

ага

!!!! https://godbolt.org/g/UUtYmv

вот, именно это я хочу

в стандарт

в чём профит?

сравни код

Александр kicked for flood!

?

А какой тогда смысл в этой инструкции?

Это как контракт - для оптимизации

!!!! https://godbolt.org/g/UUtYmv

что-то я по ссылке оптимизации не вижу (если поправить верхнюю границу до '9')

Это контракт, да. Сам по себе не должен исполняться, примерно то же самое, что assert(false), только это явное указание для анализа в компиляторе

А на этом анализе столько всего крутится вплоть до расположения переменных.

Уже выясняли, что если написать if (cond) __builtin_unreachable();, далее по коду компилятор будет считать, что cond == false

Что-нибудь еще, кроме этого?

Что-нибудь еще, кроме этого?

неужели в интернете нет статей?

и я очень сомневаюсь, что у компиляторов очень много оптимизаций, которые рассчитаны на такие вот контракты

и когда конракты введут, то компиляторы всё равно не сразу научаться что-то классное из этого делать

как и статические анализаторы

неужели в интернете нет статей?

Так это, в интернете непойми кто пишет, а все настоящие знатоки тут

очень смешно

и я очень сомневаюсь, что у компиляторов очень много оптимизаций, которые рассчитаны на такие вот контракты

Ну это очень примитивный контракт, и он помогает на самом деле. Я тут как раз курс про стат анализ проходил, это очень легко обработать, в отличие от сложных контрактов.