Unicode

[Python]

2010.10.11 опубликован Unicode Standard 6.0


Бумажных книжков теперь не будет, всё только онлайн.

Юникод консорциум продолжает наивно верить в существование кириллицы без знаков ударения? ))

[myst]

по крайней мере в части приложений символы, выходящие за этот предел, будут стабильно превращаться в два квадрата

В каких?

[Python]

В каких?

Например, Опера (не только девятьая, но и десятая) имеет такую скверную привычку.

[myst]

Например, Опера (не только девятьая, но и десятая) имеет такую скверную привычку.

Опера внезапно написана на Жабе?

[Python]

Хотя, с другой стороны, какая разница, сколько квадратов? Все равно в использовании этих символов есть три варианта:
1) На их месте будут квадраты, знаки вопроса, цифры
2) Для прочтения статьи с малораспространенной письменностью нужно будет долго блуждать в поисках соответствующего шрифта.
3) Картинки или pdf вместо html.

[Python]

Например, Опера (не только девятьая, но и десятая) имеет такую скверную привычку.

Опера внезапно написана на Жабе?

Внезапно. 16-разрядные символы используются не только в Жабе, но и во многих других языках и библиотеках. Тысячи их.

[myst]

Внезапно. 16-разрядные символы используются не только в Жабе, но и во многих других языках и библиотеках. Тысячи их.

Это само по себе ещё не значит, что суррогаты не обрабатываются. Так шта, жабское приложение, не умеющее суррогаты,— студию.

[Python]

Это само по себе ещё не значит, что суррогаты не обрабатываются.

Безусловно. По идее, джава должна уметь. Тем не менее, разбивка символа на два уже дает повод для ошибочной его обработки в прикладных программах, которые редко даже на кириллице проверяются.

[Python]

Так шта, жабское приложение, не умеющее суррогаты,— студию.

ОК. (wiki/en) Thingamablog отображает символ как один квадратик, но при редактировании в режиме html заглючивает, если в тексте присутствует символ, кодируемый как несколько символов. Этот баг проявляется не только на юникодовской экзотике, но и (при наличии джавы последних версий) на комбинационных диакритиках, которые вдруг стали рендериться по более продвинутому алгоритму. Думаю, и в других программах, оперирующих с длиной строки и положением курсора, подобньіе баги могут присутствовать.

[myst]

(wiki/en) Thingamablog отображает символ как один квадратик, но при редактировании в режиме html заглючивает, если в тексте присутствует символ, кодируемый как несколько символов.

Оно без исходников.

[myst]

Думаю, и в других программах, оперирующих с длиной строки и положением курсора, подобньіе баги могут присутствовать.

Я забыл, кто недавно кричал, что символьный тип ваще не нужен, а длину строки достаточно считать в байтах, Demetrius?
UTF-32 решает. В реализациях CL он уже давно. Лисп рулит!

[Demetrius]

@myst
Я до сих пор так считаю.

Криво написанные приложения не причина зря тратить память. Вам же сказали:

(wiki/en) Thingamablog... заглючивает, если в тексте присутствует символ, кодируемый как несколько символов. Этот баг проявляется не только на юникодовской экзотике, но и (при наличии джавы последних версий) на комбинационных диакритиках, которые вдруг стали рендериться по более продвинутому алгоритму.

То есть перевод на UTF-32 никому бы не помог.

Если приложение кривое, при чём тут UTF-8?

Наоборот, UTF-16 и UTF-32 создают иллюзию, что обрабатывать можно посимвольно, и программисты забывают о том, что всё не так просто.

[Python]

(wiki/en) Thingamablog отображает символ как один квадратик, но при редактировании в режиме html заглючивает, если в тексте присутствует символ, кодируемый как несколько символов.

Оно без исходников.

Исходники старых версий должны быть на соурсфордже
http://sourceforge.net/projects/thingamablog/files/

[myst]

То есть перевод на UTF-32 никому бы не помог.

Насчёт комбинируемых диакритик надо решить раз и навсегда, являются они отдельными символами или нет.

Если приложение кривое, при чём тут UTF-8?

Приложение ли кривое? Давно ли приложения сами двигают каретки и всё такое?

Наоборот, UTF-16 и UTF-32 создают иллюзию, что обрабатывать можно посимвольно, и программисты забывают о том, что всё не так просто.

Разработчики приложений вообще не должны заморачиваться подобными вещами.

[myst]

Исходники старых версий должны быть на соурсфордже
http://sourceforge.net/projects/thingamablog/files/

А в чём глюк, кстати?

[Python]

Исходники старых версий должны быть на соурсфордже
http://sourceforge.net/projects/thingamablog/files/

А в чём глюк, кстати?

Если текст с двойными символами набран в wysiwyg, то при попытке перейти в режим html редактор сообщений отображает только первую строку и перестает принимать ввод с клавиатуры.

[Python]

То есть перевод на UTF-32 никому бы не помог.

Насчёт комбинируемых диакритик надо решить раз и навсегда, являются они отдельными символами или нет.

Исторически, precomposed symbols появились раньше, чем combining diacritics, и особого удобства в переходе на сборные символы нет. С другой стороны,  многие символы можно получить лишь путем комбинирования. Будь вопрос так прост, его бы уже давно решили.

[myst]

Исторически, precomposed symbols появились раньше, чем combining diacritics, и особого удобства в переходе на сборные символы нет. С другой стороны,  многие символы можно получить лишь путем комбинирования. Будь вопрос так прост, его бы уже давно решили.

Они до сих пор так и не решили, какой из вариантов предпочесть. В результате наблюдаем помойку.

[Demetrius]

Будь моя воля, я бы оставил только комбинируемые. И комбинировал бы i = ı + точка.

[myst]

Будь моя воля, я бы оставил только комбинируемые. И комбинировал бы i = ı + точка.

А они таки символы или нет?

[Demetrius]

Они несамостоятельные символы, особая сущность. А что?

[myst]

Они несамостоятельные символы, особая сущность. А что?

Как что? От этого зависит их обработка.

[Python]

Насколько я помню, какое-то время была тенденция к переходу на чистые комбинационные диакритики. Но потом, по всей видимости, от нее отказались (для разных задач нужно разное представление символов, алгоритмы нормализации существуют для обоих вариантов).

[Demetrius]

Их обработка зависит от локали. В эстонской локали ü — символ, в немецкой — два.

[myst]

Их обработка зависит от локали. В эстонской локали ü — символ, в немецкой — два.

А в чём профит такого изврата?