«Привет»: от Unicode-символов до physical symbols

Overview

Компьютеры не пересылают буквы как готовые объекты. Приложение сначала кодирует строку «Привет»: это 6 Unicode-символов и 12 bytes в UTF-8, то есть 96 bits. Затем link и physical layers добавляют собственную структуру и превращают bit stream в symbols конкретного PHY.

Physical symbol не является универсальным синонимом bit или «электрического импульса». На copper используются изменения электрического сигнала, на fiber — оптического; mapping между bits и symbols зависит от encoding/modulation выбранного PHY. Диаграмма намеренно не обещает фиксированное число physical symbols.

Components

• Unicode text — последовательность символов, которую понимает application.
• UTF-8 bytes — переносимое byte representation; «Привет» занимает 12 bytes.
• 96 bits — двоичное содержимое 12 octets до учета protocol headers.
• PHY encoder/decoder — medium-specific преобразование между bit stream и signal symbols.
• copper / fiber medium — физическая среда, несущая измеримый signal, а не объект String.

Scenarios

1. Encode — строка становится UTF-8 bytes, bits и physical symbols.
2. Decode — receiver восстанавливает bits и только application снова придаёт им смысл текста.
3. Signal corruption — noise мешает восстановить корректные данные, поэтому payload не должен доходить до UTF-8 decoder как достоверный.

Failure modes

• Считать 6 символов равными 6 bytes: для кириллицы в UTF-8 это неверно.
• Считать один bit одним physical symbol: mapping зависит от PHY.
• Называть любой signal «Ethernet frame»: frame относится к link layer, signal — к physical layer.
• Декодировать произвольные повреждённые bytes как текст до link/transport validation.

References

• RFC 3629: UTF-8, a transformation format of ISO 10646
• The Unicode Standard: UTF-8
• IEEE 802.3 Ethernet Working Group
• RFC 1122: Link and communication layers