эмодзи

Так они же до 10ffff

4 байта вместе с первым

Так они же до 10ffff

не все вроде

4 байта вместе с первым

найн

Свыше 10ffff уже невалидные

или валидные? O_O

4 байта вместе с первым

Ютф8 до шести байт

Longer encodings are called overlong and are not valid UTF-8 representations of the code point.

а, стоп

это не про то

Но ограничение на 1114112 code points никто не отменял, вроде, и из них занято только чуть больше сотни тысяч

не все вроде

все

UTF-16 непредставимые запретили

Ютф8 до шести байт

UTF-8 позволяет записать много невалидных кодпоинтов, да

немного переделал своё говно, убрал возврат символа замены три раза, заменил != || != на == && ==

лучше бы ты все-таки списывал с фолли

лучше бы ты все-таки списывал с фолли

А что там?

А что там?

Там хитрые планы очень

Да я просто хочу, чтобы конкретно, если символ невалидный, мне выдавало '?'

Причём невалидный исключительно с точки зрения перевода между UTF-8, UTF-16 и UTF-32

На BOM всякие мне пофиг, это уже при чтении файлов надо рассматривать

Да я просто хочу, чтобы конкретно, если символ невалидный, мне выдавало '?'

????

????

Именно так

Причём невалидный исключительно с точки зрения перевода между UTF-8, UTF-16 и UTF-32

???????????????????????

U+FFFD замечательный символ

U+FFFD замечательный символ

Он 3 байта занимает в UTF-8, нафиг

Причём невалидный исключительно с точки зрения перевода между UTF-8, UTF-16 и UTF-32

Я бы за такое руки оторвал

Я бы за такое руки оторвал

Да мне только для отрисовки

Да мне только для отрисовки

а если UTF-8 последовательность для D800 ты мне U+D800 вернешь?

а если UTF-8 последовательность для D800 ты мне U+D800 вернешь?

Вот это я и имею в виду под невалидностью с точки зрения конверсии

Вот это я и имею в виду под невалидностью с точки зрения конверсии

А U+FFFE вернешь?

А U+FFFE вернешь?

U+003F

а FFFE верну

наркоман шоле

а если я потом его в UTF16 впишу?

наркоман шоле

Он не мешает

а если я потом его в UTF16 впишу?

Если в начале файла — обработаю

Если в начале файла — обработаю

Обработаешь как BOM

Обработаешь как BOM

Да, буду местами менять байты, но это уже в коде чтения файлов

А в строках — пофиг, там считаю, что нативный endian

Короче мой тебе совет, твой сосед с неконтроллируемой агрессии очень не любит, когда ему некорректный возврат возращают

Если стандарт юникода говорит, что символ U+FFFE запрещен, то ты не должен его возвращать

Если стандарт юникода говорит, что символ U+FFFE запрещен, то ты не должен его возвращать

Ну обработаю как ?, одно сравнение, фиг с ним

Но вообще, грузить UTF-16 я вряд ли буду где-либо

Только UTF-8

return ((cp » 1u) != 0x7fffu && (cp & ~((abTextU32) 0x7ffu)) != 0xd800u) ? cp : abText_InvalidSubstitute;

return (cp <= 0x10ffffu && (cp & 0xfffeu) != 0xfffeu) ? cp : abText_InvalidSubstitute;

еееее, говнокод)))

/

Когда не шарю в программировании, но хочу изучать

Когда не шарю в программировании, но хочу изучать

@supapro

Когда не шарю в программировании, но хочу изучать

Только не пиши никогда такие тернарные операторы

Не ожидал такого различия на MSVC (32-битном) O_O https://godbolt.org/g/6yGwTx

Но Clang и GCC выдали то же самое, только с разными immediates

Только не пиши никогда такие тернарные операторы

почему

иногда они выглядят даже приятнее, чем обычные ифы

И на ARM тоже сдвиг immediate не был использован, видимо, там 0xd800|(0xd800«16) раскрылось

unsigned int abTextU16_EncodeCP_ValidV3(unsigned int cp) { if ((cp >> 16u) == 0u) { return cp; } unsigned int low = 0xd800u | (cp & 0x3ffu); unsigned int high = 0xd800u | (cp >> 10u); return low | (high << 16u); } abTextU16_EncodeCP_ValidV3(unsigned int): lsrs r3, r0, #16 beq .L14 movs r3, #216 lsls r0, r0, #22 lsrs r0, r0, #22 lsls r3, r3, #8 orrs r3, r0 lsls r0, r3, #16 orrs r0, r3 .L14: bx lr Красотища, ни одного ldr

Вот так и буду делать, по отдельности

mov rax, 57982943232 ; 0000000d800d8000H 64-битный MSVC в той функции, что V2 😱

А вот в V3 уже immediates 16-битные

Вообще, эта функция мне и не нужна

а на си разве нельзя писать более...красиво?

На Си в Яблоке красиво пишут. Остальные вырвиглаз-стайл. 😁

На Си в Яблоке красиво пишут. Остальные вырвиглаз-стайл. 😁

Есть примеры того, что особенно красиво?

Код Quake тоже красиво выглядит, хоть и там не очень строго со стилем было

Код Quake тоже красиво выглядит, хоть и там не очень строго со стилем было

Линк?

Ллвм код хорошо выглядит тоже

Линк?

Например https://github.com/id-Software/Quake/blob/master/WinQuake/sv_main.c

Есть примеры того, что особенно красиво?

Утечки их boot'a в сети выкладывали правда они потом быстро эти ресурсы прикрыли. В сети мож где есть ещё надо поискать.

да ёпт

к d800 прибавляются верхние биты

а к dc00 нижние

ладно, буду ксорить с dc00, а не орить с d800)))

ладно, буду ксорить с dc00, а не орить с d800)))

харе ассемблерную кашу вываливать в чат

харе ассемблерную кашу вываливать в чат

это нижняя сторона C++)

ой, а этот верхний бит и не всегда будет стоять же

ой, а этот верхний бит и не всегда будет стоять же

можешь устроить стрим на твиче, как ты программируешь, транслировать всё это в чат нет необходимости

это нижняя сторона C++)

Для этого есть godbolt. Это во первых. Во вторых этот нечитаемый Пипец с тонной magic numbers и вырвигюглазным синтаксисом не просто является эталонным примером premature optimization. оно еще и написано в стиле универских лаб

Сотни статей и десятки книг посвящены именно тому, что так писать нельзя

Сотни статей и десятки книг посвящены именно тому, что так писать нельзя