Урок #1. Количество информации в контексте информатики

Введение

Сегодня мы поговорим о фундаментальном понятии современной цивилизации — об информации. Мы живём в эпоху, которую справедливо называют информационной. Нас окружают гигабайты и терабайты данных. Но что именно мы измеряем? Что такое «один байт» с точки зрения физики или логики? Почему один текст весит десять килобайт, а картинка высокого разрешения — пятьдесят мегабайт?

Информатика даёт на это строгий математический ответ. Важно сразу разделить два понятия:

• Данные (data) — просто сигналы, символы, состояния физических носителей.
• Информация (information) — смысл, который извлекается из этих данных получателем.

В теории информации, основоположником которой является Клод Шеннон, нас интересует не субъективный смысл сообщения («хорошая новость» или «плохая новость»), а его объективная мера — количество неопределённости, которое это сообщение устраняет. Представьте игру «Угадай число». Пока вы не задали ни одного вопроса, ваше состояние — максимальная неопределённость. Каждый ваш вопрос должен эту неопределённость уменьшать. Мера этого уменьшения и есть количество информации.

Часть 1. Хартлиевская мера информации

Первая стройная формула для измерения информации появилась ещё до работ Шеннона, в 1928 году, благодаря американцу Ральфу Хартли. Его подход применим к ситуациям, где все исходы равновероятны: подбрасывание идеальной монеты, выбор карты из хорошо перетасованной колоды.

Почему используется логарифм по основанию 2? Единица измерения количества информации в информатике — это бит. Один бит (bit, от binary digit) соответствует выбору из двух равновероятных вариантов: «да» или «нет», 0 или 1, включено или выключено. Логарифм по основанию 2 как раз отвечает на вопрос: сколько таких бинарных выборов нужно сделать, чтобы однозначно определить один исход из N возможных?

Примеры

1. Бросок монеты. Два исхода (орёл или решка). I = log₂ 2 = 1 бит.
2. Игральная кость. Шесть граней. I = log₂ 6 ≈ 2,588 бита. Поскольку мы не можем задать дробное количество вопросов, понадобится три бинарных вопроса, чтобы точно угадать грань.
3. Шахматная доска. 64 клетки. I = log₂ 64 = 6 бит. Ровно шестью вопросами типа «левее-правее», «выше-ниже» можно найти любую клетку.
4. Русский алфавит. Если считать появление каждой из 33 букв равновероятным (что, конечно, не так), одна буква несёт I = log₂ 33 ≈ 5,04 бита информации.

Ограничение формулы Хартли очевидно: реальный мир несправедлив. Буква «о» в русском языке встречается гораздо чаще, чем «ф». Дождливое лето в Петербурге вероятнее, чем засушливое. Для описания реального мира нужна была теория вероятностей.

Часть 2. Энтропия Шеннона

В 1948 году Клод Шеннон публикует свою знаменитую работу «Математическая теория связи». Он вводит понятие информационной энтропии. По аналогии с термодинамикой, энтропия в теории информации — это мера хаоса, непредсказуемости системы. Чем выше неопределённость источника сообщений, тем больше информации принесёт нам каждое конкретное сообщение от него.

Если все вероятности pᵢ равны (то есть pᵢ = 1/N), эта формула превращается в формулу Хартли. Но если они разные, результат будет меньше. Интуитивно это понятно: если вам звонят из Гидрометцентра и говорят, что летом в Сочи ожидается жара, полученной информации почти ноль. Это было предсказуемо. А вот сообщение о выпадении снега в июле в Сочи несёт огромное количество информации, потому что оно максимально неожиданно.

Классический пример с монетой

• Идеальная монета (p = 0,5 для орла и решки): H = −(0,5 · log₂ 0,5 + 0,5 · log₂ 0,5) = 1 бит.
• Скошенная монета (орёл выпадает в 90 % случаев, p = 0,9): H = −(0,9 · log₂ 0,9 + 0,1 · log₂ 0,1) ≈ 0,469 бита.

Заметьте: среднее количество информации упало почти в два раза. Исход стал предсказуемым, система стала менее хаотичной. Именно поэтому сжатые файлы весят меньше: алгоритмы сжатия находят закономерности (например, в тексте часто встречаются сочетания букв «ст», «пр», «по») и убирают избыточность, делая появление каждого следующего символа максимально неожиданным для декодера.

Важные свойства энтропии

• Она всегда неотрицательна.
• Она достигает максимума при равенстве всех вероятностей (максимальный хаос).
• Она равна нулю, если какая-то вероятность равна единице (полная определённость).

Часть 3. Единицы измерения и их физический смысл

С теорией разобрались, переходим к практике. Бит слишком мал для повседневных задач. Как сантиметры складываются в метры, так и биты образуют производные единицы. Здесь важно запомнить двоичную специфику информатики. В отличие от физики, где приставка «кило» означает умножение на 1000, в архитектуре компьютеров она традиционно означала умножение на 1024 (2¹⁰), хотя современные стандарты хранения накопителей (жёстких дисков, SSD) и передачи сетей всё чаще используют десятичные приставки (1 КБ = 1000 байт).

Важно понимать разницу между количеством информации и объёмом данных. Текстовый файл размером 1 КБ содержит около 1000 символов. Если кодировка восьмибитная (как Windows-1251), его теоретический предел — 8000 бит информации. Однако из-за правил языка (того самого неравенства вероятностей Шеннона) реальная информационная ценность этого текста может быть эквивалентна всего 2000–3000 битам. Остальные 5000–6000 бит — это статистическая избыточность нашего языка. Алгоритмы архивации (ZIP, RAR) занимаются тем, что вычисляют эти вероятности и упаковывают данные, приближая объём файла к его реальной энтропии.

Производительность систем

Здесь кроется классическая ловушка единиц измерения. Скорость передачи данных по сети обычно измеряется в мегабитах в секунду (Мбит/с). А скорость записи на диск или загрузки файла браузером показывается в мегабайтах в секунду (МБ/с). Чтобы перевести одно в другое, нужно помнить про 8 бит в байте. Если ваш провайдер обещает 100 Мбит/с, то максимальная скорость скачивания файлов составит примерно 100 / 8 = 12,5 МБ/с (и чуть меньше из-за служебного трафика протоколов).

Часть 4. Объём информации в реальных объектах

1. Текстовая страница

Одна страница печатного текста — около 1800 знаков, включая пробелы. В стандартной восьмибитной кодировке (ASCII или Windows-1251) это 1800 × 8 = 14 400 бит, или 1800 байт, то есть примерно 1,8 КБ. Целый роман «Война и мир» без иллюстраций в обычном текстовом формате займёт около 2–3 мегабайт.

2. Растровое изображение

Формула проста: Ширина × Высота × Глубина цвета. Фотография со смартфона разрешением 4000 × 3000 пикселей. Если каждый пиксель описывается тремя цветами (красный, зелёный, синий) по 8 бит на каждый (модель RGB24), глубина цвета — 24 бита. Объём: 4000 × 3000 × 24 = 288 000 000 бит. Делим на 8, получаем 36 000 000 байт, или примерно 34,3 МБ. Современные смартфоны сохраняют такие фото в форматах JPEG или HEIF, которые выбрасывают невидимую глазу информацию, сжимая файл до 3–5 МБ за счёт психоизуальной модели восприятия человека.

3. Звук

Качество аудио определяется частотой дискретизации (сколько раз в секунду замеряется амплитуда звуковой волны) и разрядностью (с какой точностью записывается этот замер). Стандарт CD-качества: 44 100 замеров в секунду, 16 бит на замер, 2 канала (стерео). Одна секунда звука: 44 100 × 16 × 2 = 1 411 200 бит, или около 172 КБ. Минута такой музыки — уже более 10 МБ. Форматы вроде MP3 или AAC удаляют частоты, которые человеческое ухо плохо слышит (особенно маскируемые громкими звуками), сжимая трек до 5–8 МБ за минуту.

4. Видео

Это последовательность изображений (кадров) плюс звуковая дорожка. При 25 кадрах в секунду несжатое HD-видео (1920 × 1080, 24 бита цвета) потребует пропускной способности канала порядка 1,24 Гбит/с. Ни один домашний интернет такого не выдержит. Поэтому используются сложнейшие кодеки (H.264, H.265/HEVC), которые хранят только изменения между соседними кадрами и используют хитрые математические преобразования, сжимая поток до нескольких мегабит в секунду.

Часть 5. Практическое применение энтропии Шеннона

Теория, разработанная Шенноном для нужд телеграфии времён Второй мировой войны, сегодня стала фундаментом всей цифровой экономики. Управление вероятностями — это управление эффективностью.

1. Сжатие данных без потерь (ZIP, PNG, FLAC)

Любой современный архиватор или формат изображений без потерь начинается с построения статистической модели данных. Алгоритм анализирует файл и вычисляет вероятности появления тех или иных последовательностей байтов. Согласно теории Шеннона, оптимальный код должен назначать самым частым символам самые короткие последовательности бит. Этот принцип реализован в алгоритме Хаффмана или более современном арифметическом кодировании.

2. Криптография и информационная безопасность

Энтропия — это мера качества паролей и криптографических ключей. Идеальный ключ — последовательность абсолютно случайных бит, где вероятность появления нуля равна вероятности появления единицы (p = 0,5). В этом случае энтропия максимальна, и каждый новый бит удваивает сложность перебора для злоумышленника. Если пользователь ставит пароль «123456», его реальная энтропия ничтожна, хотя длина — 6 символов. Программа взлома даже не будет тратить ресурсы на полный перебор (brute force), она просто проверит наиболее вероятные комбинации из своего словаря.

3. Машинное обучение и искусственный интеллект

Нейронные сети работают с информацией через призму функции потерь, одна из популярных форм которой — кросс-энтропия (cross-entropy). Представьте, что нейросеть пытается отличить кошек от собак. На вход подаётся фотография кошки. Сеть выдаёт прогноз: «на 70 % уверена, что это кошка, на 30 % — что собака». Математически это распределение вероятностей [0,7; 0,3]. А истина — это распределение [1,0; 0,0]. Кросс-энтропия измеряет «расстояние» между этими двумя распределениями. Чем сильнее сеть ошибается, тем выше значение этой функции. Задача обучения сводится к минимизации кросс-энтропии.

4. Каналы связи и исправление ошибок (ECC)

В реальном мире данные при передаче по кабелю, воздуху (Wi-Fi, 5G) или космосу искажаются шумом. Шеннон создал вторую великую теорему — о пропускной способности зашумлённого канала. Он математически доказал, что существует предел скорости передачи информации, выше которого восстановить сообщение без ошибок невозможно, как бы хитро мы ни кодировали биты.

Формула пропускной способности: C = B · log₂(1 + S/N), где B — ширина полосы частот, S/N — отношение сигнала к шуму. Весь современный интернет работает благодаря кодам, приближающимся к этому пределу: турбокоды, LDPC-коды (Wi-Fi 6, 5G) и полярные коды (5G NR). Они добавляют строго дозированную избыточную информацию, которая позволяет приёмнику понять, какой именно бит перевернулся под воздействием шума, и автоматически исправить ошибку.

5. Цифровая стеганография

Чтобы спрятать одно изображение внутри другого так, чтобы человек этого не заметил, используются области картинки с высокой текстурной сложностью и, следовательно, высокой энтропией. Наш глаз очень чувствителен к изменениям на однотонных участках (например, на чистом небе), но почти не замечает лишних битов информации в пёстрой листве деревьев или складках одежды.

Заключение

Мы прошли путь от простого выбора из двух вариантов до понимания того, почему фильм в высоком качестве требует десятков гигабайт памяти.

Главный вывод: количество информации — это не свойство самого объекта (книги, флешки или радиоволны). Это характеристика взаимодействия между источником и приёмником. Информация существует там, где уничтожается неопределённость.

Понимание этой разницы критически важно для любого специалиста в сфере IT. Оно объясняет, зачем нужны алгоритмы сжатия, почему криптографические ключи должны обладать максимальной энтропией, как проектируются эффективные каналы связи и почему нейросети способны генерировать изображения и тексты — они научились мастерски моделировать вероятности, управляя порциями новой информации.