Блоки Unicode
Unicode ділить свій простір кодів на названі блоки, кожен суміжний діапазон зарезервований для одного сценарію або однієї сімейства символів. Знання того, у якому блоці живе символ, перетворює таємницю — чому цей вставок зломав, чому цей регулярний вираз його пропускає — на запитання, на яке можна відповісти.
Назви блоків — це ідентифікатори, а не опису: вони використовуються дослівно в регулярному виразі як \p{Block=Cyrillic} й у кожному файлі даних Unicode, тож вони залишаються англійською в кожній мові. Те, що перекладається, — це пропозиція поруч із ними.
Це виважений вибір, а не всі приблизно 340 блоків — ті, що виникають при роботі з текстом. Таблиця ASCII охоплює перший блок у повній деталізації; ця сторінка починається там, де та закінчується.
Латинка
5Latin розповсюджена кількома блоками, саме тому відповідність їй по блоку ніколи цілком не працює.
| Діапазон | Блок | Що в ньому | Зразок |
|---|---|---|---|
| U+0000–U+007F | Basic Latin | ASCII, без змін: латинські літери, цифри, розділові знаки, коди керування | A z 0 ? |
| U+0080–U+00FF | Latin-1 Supplement | Західноєвропейські наголоси, плюс £ § × ÷ й неперевирна пробіл | é ñ ü × |
| U+0100–U+017F | Latin Extended-A | Центральні й східноєвропейські наголоси — č, ł, ő, ș | č ł ő š |
| U+0180–U+024F | Latin Extended-B | Додаткові літери для африканських і фонетичних правопису | ƒ ǎ ȳ |
| U+1E00–U+1EFF | Latin Extended Additional | В'єтнамський й інші багато-наголошені латинські літери | ạ ế ṛ |
Комбінуючі знаки й модифікатори
4Вони прикріплюються до символу перед ними й не мають ширини самі.
| Діапазон | Блок | Що в ньому | Зразок |
|---|---|---|---|
| U+0300–U+036F | Combining Diacritical Marks | Наголоси застосовані до попереднього символуДругий, розкладений спосіб написати é. Нормалізуйте до NFC, щоб схопити його. | ◌́ ◌̈ ◌̌ |
| U+02B0–U+02FF | Spacing Modifier Letters | Супер-маленькі літери й наголоси й тонові знаки IPA | ʰ ˈ ˚ |
| U+FE00–U+FE0F | Variation Selectors | Невидимі селектори, що вибирають текст або емодзі представленняVS16 — це те, що робить ✔ емодзі. Невидимі, але рахується. | |
| U+FE20–U+FE2F | Combining Half Marks | Половини знаків, що охоплюють два символи |
Інші сценарії
8| Діапазон | Блок | Що в ньому | Зразок |
|---|---|---|---|
| U+0370–U+03FF | Greek and Coptic | Грецька, й коптівські літери, що діляють її блок | α Ω π |
| U+0400–U+04FF | Cyrillic | Російська, українська, сербська, болгарська й пов'язані алфавіти | д Я ж |
| U+0590–U+05FF | Hebrew | Гебрейські літери, голосні точки й позначки кантиляції | א ש |
| U+0600–U+06FF | Arabic | Арабські літери, у їхніх ізольованих формах | ا ب ي |
| U+0900–U+097F | Devanagari | Гінді, санскрит, маратні й пов'язані мови | क ह |
| U+0E00–U+0E7F | Thai | Таїландські приголосні, голосні й тонові знаки | ก ท |
| U+10A0–U+10FF | Georgian | Грузинський Mkhedruli | ა ბ |
| U+1F00–U+1FFF | Greek Extended | Політонічна грецька — наголоси класичних текстів | ᾰ ῶ |
Розділові знаки й цифри
5Джерело більшості невидимих символів, які виживають копіювання-вставляння.
| Діапазон | Блок | Що в ньому | Зразок |
|---|---|---|---|
| U+2000–U+206F | General Punctuation | Дефіси, кучеряві лапки, еліпсис — й більшість невидимих пробілівU+200B нульова ширина пробіл й U+2060 слово-з'єднувач живуть тут. | – — “ ” … |
| U+2070–U+209F | Superscripts and Subscripts | Супер й суб-скрипт цифри й літери | ⁰ ⁴ ₂ |
| U+20A0–U+20CF | Currency Symbols | Символи валюти Latin-1 не має місця для — €, ₴, ₹, ₺ | € ₴ ₺ |
| U+2100–U+214F | Letterlike Symbols | Символи побудовані з літер — ™, №, ℃, ℓ | ™ ℃ № |
| U+2150–U+218F | Number Forms | Часткові дроби й римські цифри як єдині символи | ⅓ ⅕ Ⅷ |
Символи й малювання
9| Діапазон | Блок | Що в ньому | Зразок |
|---|---|---|---|
| U+2190–U+21FF | Arrows | Стрілки в кожному напрямку, одинарні й подвійні | ← ↔ ⇒ |
| U+2200–U+22FF | Mathematical Operators | Математичні оператори — ∀, ∑, ≠, ∞ | ∀ ∑ ≠ |
| U+2300–U+23FF | Miscellaneous Technical | Символи клавіатури й технічні — ⌘, ⌥, ⌫, ⏎ | ⌘ ⌥ ⏎ |
| U+2500–U+257F | Box Drawing | Лінії й кути для термінальних коробок й таблиць | ─ ┌ ╬ |
| U+2580–U+259F | Block Elements | Суцільні й затінені блоки, що використовуються для графіків бару терміналу | █ ▓ ░ |
| U+25A0–U+25FF | Geometric Shapes | Квадрати, кола, трикутники й діаманти | ■ ● ▲ |
| U+2600–U+26FF | Miscellaneous Symbols | Погода, астрологія, шахи, карти й карткові костюми | ☀ ★ ♥ |
| U+2700–U+27BF | Dingbats | Типографські прикраси — відзначити, ножиці, зірки | ✂ ✓ ➜ |
| U+2800–U+28FF | Braille Patterns | Усі 256 шаблонів точок шрифту Браїля, що використовуються для терміналу також графіка | ⠁ ⣿ |
CJK й повна ширина
6Форми повної ширини — це окремі символи від їх ASCII близнюків, не шрифт.
| Діапазон | Блок | Що в ньому | Зразок |
|---|---|---|---|
| U+3000–U+303F | CJK Symbols and Punctuation | Ідеографічний пробіл й розділові знаки CJKU+3000 — повнофункціональний пробіл й не обрізується більшістю правил пробільного простору. | 、 。 |
| U+3040–U+309F | Hiragana | Японська складова система для рідних слів й граматики | あ ん |
| U+30A0–U+30FF | Katakana | Японська складова система для запозичених слів й наголосу | ア ン |
| U+4E00–U+9FFF | CJK Unified Ideographs | Основний блок Хан — майже 21,000 символів, що діляють китайцями, японцями й корейцями | 日 本 語 |
| U+AC00–U+D7AF | Hangul Syllables | Усі 11,172 попередньо скомпоновані корейські складиКожен можна також написати як окремі Jamo, що нормалізація узгоджує. | 한 글 |
| U+FF00–U+FFEF | Halfwidth and Fullwidth Forms | Повнофункціональні копії ASCII й половина-ширина KatakanaＡ — не А. Текст, вставлений із форм CJK, часто потребує складання до ASCII. | Ａ ！ ｱ |
Вище U+FFFF й спеціальні випадки
10Щось тут займає дві одиниці UTF-16, що звідки беруться помилки довжини рядка.
| Діапазон | Блок | Що в ньому | Зразок |
|---|---|---|---|
| U+D800–U+DB7F | High Surrogates | Перша половина пари UTF-16 — ніколи дійсна сама по собіОдинокий сурогат — це що залишає рядок, розрізаний через емодзі. | |
| U+DC00–U+DFFF | Low Surrogates | Друга половина пари UTF-16 — ніколи дійсна сама по собі | |
| U+E000–U+F8FF | Private Use Area | Не призначено за проектом для приватних угодДе іконки шрифти розмістять свої глифи. Безглуздо без відповідного шрифту. | |
| U+FFF0–U+FFFF | Specials | Символ заміни й родичі знака порядку байтівU+FFFD — це те, що ви бачите, коли декодер здав. | � |
| U+1D400–U+1D7FF | Mathematical Alphanumeric Symbols | Напівжирна, курсивна, сценарій й подвійно-ударні алфавіти як символиДжерело 𝐟𝐚𝐤𝐞 𝐛𝐨𝐥𝐝 у іменах соціальних мереж. Невідшукуваний. | 𝐀 𝓪 𝟙 |
| U+1F300–U+1F5FF | Miscellaneous Symbols and Pictographs | Більшість не-обличчя емодзі — погода, предмети, місця, символи | 🌍 🔥 📄 |
| U+1F600–U+1F64F | Emoticons | Обличчя емодзі | 😀 🙂 |
| U+1F680–U+1F6FF | Transport and Map Symbols | Транспортні засоби, трафік й символи карти | 🚀 🛑 |
| U+1F900–U+1F9FF | Supplemental Symbols and Pictographs | Пізніші доповнення емодзі — пізніші обличчя, жести, предмети | 🤖 🧠 |
| U+E0000–U+E007F | Tags | Невидимі символи тегів, що використовуються у послідовностях прапорцівТакож вектор для невидимого тексту, що контрабандується всередину звичайно виглядаючого рядка. |
FAQ
Яка різниця між блоком й сценарієм?
Блок — це суміжний діапазон кодових точок; сценарій — це система письма, до якої належить символ. Вони не одне й те ж саме й часто розходяться — символи Latin розташовані щонайменше в семи блоках, й блок Combining Diacritical Marks використовується декількома сценаріями одночасно. У регулярному виразі \p{Script=Latin} — це майже завжди те, що ви хочете, а не \p{Block=…}.
Чому рядки сурогату не мають прикладів символів?
Тому що сурогат — це не символ. U+D800–U+DFFF зарезервовані як механізм пари для UTF-16: два з них разом кодують одну кодову точку вище U+FFFF. На своїх вони недійсний текст, що саме тому рядок, розрізаний посередині емодзі, виробляє символ заміни — ви зберегли половину пари.
Чому мій наголошений символ іноді рахується як два?
Тому що є два способи це написати. é може бути однією кодовою точкою із Latin-1 Supplement, або e, за яким слідує комбінуючий гострий наголос із блоку Combining Diacritical Marks. Вони виглядають однаково й порівнюються як нерівні. Нормалізація до NFC схопляє другу форму до першої, й то це інструмент нормалізації для.
Чи емодзі — це один символ?
Рідко. Єдине показане емодзі часто складається з декількох кодових точок — базовий символ, модифікатори тону шкіри, селектори варіацій і з'єднувачі нульової ширини, що біють сім'ю разом. Довжина 1 — це виняток, а не правило, й будь-який код, що розділяє рядки за індексом, врешті-решт розділить один.