Так что накиньте кода, который работает именно с UTF 8

В какой однобайтовой кодировке мне эту строку выводить, а?

Выволи в многобайтовой.

И все это в консоленьку Виндовую закидывает

А как, собственно работать с Уникодом в консоли у Винды ?

Последние дня три мы это обсуждаем. Выше я привёл ссылку на приложение, которое православно печатает юникодовый список всех установленных прог из MSI. TLDR: - _setmode(_fileno(stdout), _O_U16TEXT); в начале программы - используешь std::wcout и std::wprintf везде

@fvnever ты мне объясни зачем в виртуальном терминале экономить байты? выдавай каждый символ хоть 8-байтным кодом сразу

«Давай заддоним смешанную калчер и мэй закапывать» — Ъ смешанная culture.

я имел в виду, если яхочу вывести числа с разделителями разрядов и деньги с определённым количеством знаков после запятой, то надо будет отрубать какие-нибудь встроенный преобразователи вывода в поток и форматироват ьявно, но это не относится к твоему вопросу и я понимаю проблему

Последние дня три мы это обсуждаем. Выше я привёл ссылку на приложение, которое православно печатает юникодовый список всех установленных прог из MSI. TLDR: - _setmode(_fileno(stdout), _O_U16TEXT); в начале программы - используешь std::wcout и std::wprintf везде

Wcout это уникод разве ?

Это UTF16LE

я имел в виду, если яхочу вывести числа с разделителями разрядов и деньги с определённым количеством знаков после запятой, то надо будет отрубать какие-нибудь встроенный преобразователи вывода в поток и форматироват ьявно, но это не относится к твоему вопросу и я понимаю проблему

Ну, это про другое

@fvnever ты мне объясни зачем в виртуальном терминале экономить байты? выдавай каждый символ хоть 8-байтным кодом сразу

я за 8-байтный, но что там с byte order?

Если не ошибаюсь, конечно

Wcout это уникод разве ?

В данной реализации — да.

я за 8-байтный, но что там с byte order?

architecture native

Это UTF16LE

В этой программе — да. UTF-16 это разве не юникод?

Ну это явно не UTF 8

Да, совершенно верно, UTF-16 это не UTF-8.

Просили юникод — нате вам юникод.

Так что накиньте кода, который работает именно с UTF 8

С utf8 винда не работает

А я прошу UTF 8 - так как через него и только него можно представить все что есть на этой планете

С utf8 винда не работает

Ога, тогда ясно :(

С utf8 винда не работает

Ну, на самом деле работает (65001), но вот с вводом в этом режиме у меня постоянные проблемы. Ни разу не видел, чтобы работало нормально.

А вот то что там в строках вводили в 11 - 14 плюсах, позможность писать /u+0x...

Или такого не было ? Если было, то расскажите, что это тогда ?

А я прошу UTF 8 - так как через него и только него можно представить все что есть на этой планете

Ты написал «А как, собственно работать с Уникодом», поэтому ответ был юникодовый. Про конкретный вид трансформации (UTF-8) был бы другой ответ :)

Согласен, теперь интересуют вопросы выше :)

я имел в виду, если яхочу вывести числа с разделителями разрядов и деньги с определённым количеством знаков после запятой, то надо будет отрубать какие-нибудь встроенный преобразователи вывода в поток и форматироват ьявно, но это не относится к твоему вопросу и я понимаю проблему

Создать локейл, задать его

Wcout это уникод разве ?

Можно я спрошу? А что такое юникод?

А вот то что там в строках вводили в 11 - 14 плюсах, позможность писать /u+0x...

Да, и синтаксис такой ввели, и ещё u8"" / u16"" литералы ввели. Это всё превращается в char*, если я не путаю (а я могу, ага). Поэтому, хотя это и полезные нововведения в целом, с юникодом на винде они не помогут :(

Можно я спрошу? А что такое юникод?

Это некоторая последовательность байт, которая определяет данный символ

Это некоторая последовательность байт, которая определяет данный символ

Генерал фейлор!

Это некоторая последовательность байт, которая определяет данный символ

Я так и думал :(

Последовательность байт — это уже кодировка какая-то.

Ну, как знал, так и ответил, что вам поправить сложно что ли :)?

У юникода есть несколько кодировок, они называются UTF.

Ну, как знал, так и ответил, что вам поправить сложно что ли :)?

Юникод это стандарт

UTF-8, UTF-16, etc.

Согласен, да - все остальное кодировка декодировка

У юникода есть несколько кодировок, они называются UTF.

?

Ну, на самом деле работает (65001), но вот с вводом в этом режиме у меня постоянные проблемы. Ни разу не видел, чтобы работало нормально.

Немного работает, но по сути нет

Немного работает, но по сути нет

Помимо очевидного, это может сломать всякие кривые программы, между прочим. Ну, те самые, заточенные на однобайтовую кодировку.

Недавно обсуждали почему утф8 не панацея. Для хранения он хорош однозначно

UTF-8, UTF-16, etc.

То есть дефакто они переводят что нужно - в одно и тоже значение ?

То есть дефакто они переводят что нужно - в одно и тоже значение ?

Я те там кинул почитать. Можешь статью спольски ещё

Она и на русском есть. За 17 лет актуальности не потеряла

Немного работает, но по сути нет

Представь, что ты пишешь программу, которая спрашивает у пользователя букву. И считывает её в однобайтовый буфер (потому что у нас же однобайтовая кодировка, да?). И вот тут ей внезапно суют кириллическую двухбайтовую «букву» в этот несчастный буфер. И всё превращается в ад.

Она и на русском есть. За 17 лет актуальности не потеряла

url :?

Не могу найти, то что ты мне кидал :)

url :?

:(

Ну гуглится же на раз два

Джоел спольски - что нужно знать про кодировки

thx :)

Вот актуализированная осовремененная версия со ссылкой на оригинал

http://kunststube.net/encoding/

Multibyte vs widechar и вот это вот все

Джоел спольски - что нужно знать про кодировки

он все еще пишет?

он все еще пишет?

Статье 17 лет :(

Да, я ее даже когда то читал. Но все быстро забывается, если честно :)

На самом деле, для англоязычной аудитории статья более актуальна, чем для наших. Это же не им приходилось все эти сорок лет разгадывать ребусы из разряда БНОПНЯ.

Статье 17 лет :(

ага. хорошо писал, но подсдулся

Владик чот пишет разгромное ...

На самом деле, для англоязычной аудитории статья более актуальна, чем для наших. Это же не им приходилось все эти сорок лет разгадывать ребусы из разряда БНОПНЯ.

с выходом nonascii наций в глобальные интернеты им пришлось гороздо хуже

Вангую, что там будет ненависти пост. ...чёрт, нет.

Это некоторая последовательность байт, которая определяет данный символ

Тогда все же, что тут не так ? Уникод он же как раз ставить некоторую последовательност байт - символу :?

Тогда все же, что тут не так ? Уникод он же как раз ставить некоторую последовательност байт - символу :?

Нет, юникод это про коды. Не байты

Тогда все же, что тут не так ? Уникод он же как раз ставить некоторую последовательност байт - символу :?

Неа, не ставит.

юникод - он про другое. он кодирует назначенный символ в >1 октет

не более

ERROR: S client not available

Статье 17 лет :(

Мм, статья-ровесник.

юникод - он про другое. он кодирует назначенный символ в >1 октет

Я думал этим занимается как раз УТФ 8 или 16

Блэт. Посоны. Давайте уже без гаданий на ромашке

Юникод каждому «символу» (а это тоже не вполне однозначное понятие, кстати) ставит в соответствие некий код. Этот код можно записать разными последовательностями байт. Начиная с big/little endian (что тоже учитывается), и заканчивая способами записи многобайтовых последовательностей.

Блэт. Посоны. Давайте уже без гаданий на ромашке

Ну пиздец чесслово:(

Кстати, а UTF-32 тоже бывает LE/BE? Я про его варианты никогда не слышал.

Я думал этим занимается как раз УТФ 8 или 16

в win исторически принята ucs16 (после 9x), ~== utf16

Юникод каждому «символу» (а это тоже не вполне однозначное понятие, кстати) ставит в соответствие некий код. Этот код можно записать разными последовательностями байт. Начиная с big/little endian (что тоже учитывается), и заканчивая способами записи многобайтовых последовательностей.

Ага, теперь точно понял свою ошибку. Надо же, я всю жизнь думал именно так как думал. Но отмечу, я писал свои кодеры и энкодеры для 16 и 8

Кстати, а UTF-32 тоже бывает LE/BE? Я про его варианты никогда не слышал.

бывает, см. BOM

Кстати, а UTF-32 тоже бывает LE/BE? Я про его варианты никогда не слышал.

Ну канеш

Есть ещё одна смешная ремарка (на самом деле, грустная). Микрософт почему-то думает, что «Юникод» — это UTF-16LE :)

И последовательно у себя применяет такую терминологию.

Тогда все же, что тут не так ? Уникод он же как раз ставить некоторую последовательност байт - символу :?

Уникод ставит в соответствие каждому символу число в математическом смысле, а как ты его в байтах выражаешь - это уже другой вопрос

Есть ещё одна смешная ремарка (на самом деле, грустная). Микрософт почему-то думает, что «Юникод» — это UTF-16LE :)

нет. ms четко знает, что использует ucs16

Есть ещё одна смешная ремарка (на самом деле, грустная). Микрософт почему-то думает, что «Юникод» — это UTF-16LE :)

Так вот эта та матка которая всю планету заполонила

Уникод ставит в соответствие каждому символу число в математическом смысле, а как ты его в байтах выражаешь - это уже другой вопрос

Да, так даже лучше звучит и понятнее. Все так :)

когда history++ в 200x писал с совместимостью от 98 до xp+ всего этого наелся

Хммм... а как писать переносимые програмы с кодировками с винды на никсы ?

Вот в никсах вчар если не ошибаюсь 4 байта

Хммм... а как писать переносимые програмы с кодировками с винды на никсы ?

Пишешь программу как тебе нужно, а внутри реализуешь слой совместимости.

Тупо все в чарах и хранить ?(я так и делаю собсно)

Хммм... а как писать переносимые програмы с кодировками с винды на никсы ?

Со страданиями. Свои функции для строк делать.

Вот в никсах вчар если не ошибаюсь 4 байта

Не ошибаешься. И поэтому L"привет" будет разной длины (в байтах) на разных платформах, например. Но (в идеале) должно выводиться одинаково корректно.

utf* отлично можно хранить в чарах

Да, и синтаксис такой ввели, и ещё u8"" / u16"" литералы ввели. Это всё превращается в char*, если я не путаю (а я могу, ага). Поэтому, хотя это и полезные нововведения в целом, с юникодом на винде они не помогут :(

Тогда давайте про это

вне зависимости от плаформы

тогда все четко - и вообще мути никакой нету. Меня вот только одно всегда смущало - это плотность кодирования

Вот читаю я положим файл

Я не знаю какого он формата

кодирования

utf* отлично можно хранить в чарах

Можно. Одна из возможных стратегий — это внутри программы все строки хранить в UTF-8 (и сохранять в std::string, например). И конвертировать при передаче во внешние API (если это линукс — то либо ничего не делаешь, либо, если хочешь работать по всем правилам, то пробуешь конвертировать в текущую локаль; если это винда — то конвертируешь в UTF-16 перед отправкой в функции типа WriteConsoleW).

Вот как собсно быть в таких случаях - я лично сделал автоопределение кодировки, но оно естессно только для тех утф - в которых реально это распознать