Колесник В.Д., Полтырев Г.Ш. Курс теории информации

М.: Наука, 1982. — 416 с.Теория информации представляет собой ветвь статистической теории связи, круг проблем которой можно охарактеризовать как исследования кодирования для обработки и передачи сообщений. Книга состоит из следующих пяти разделов: кодирование дискретных источников, кодирование в дискретных каналах, кодирование в непрерывных каналах, кодирование непрерывных источников и кодирование в системах с многими пользователями. Основные параграфы книги задуманы как пособие для студентов, впервые знакомящихся с теорией информации. Дополнительные параграфы, отмеченные звёздочкой, предназначены для углубленного изучения "традиционной" теории информации и могут быть полезны аспирантам. Особое место в книге занимает глава, посвященная кодированию в системах с многими пользователями, содержащая наиболее поздние результаты теории информации. Для чтения этой части нужна определенная теоретико-информационная эрудиция. Каждая глава снабжена рядом задач и упражнений.Предисловие.
Кодирование дискретных источников.
Дискретные ансамбли и источники.
Случайные величины. Закон больших чисел.
Количество информации в сообщении. Энтропия.
Условная информация. Условная энтропия.
Энтропия на сообщение дискретного стационарного источника.
Постановка задачи кодирования дискретных источников равномерными кодами.
Теорема о высоковероятных множествах дискретного источника без памяти.
Скорость создания информации дискретным источником без памяти при равномерном кодировании.
Эргодические дискретные источники.
Постановка задачи неравномерного кодирования дискретных источников. Коды с однозначным декодированием.
Кодовые деревья. Неравенство Крафта.
Неравномерное кодирование дискретных стационарных источников.
Оптимальные неравномерные коды.
Обсуждение основных результатов.
Взаимная информация и её свойства.
Количество информации между дискретными ансамблями.
Непрерывные ансамбли и источники. Обобщение понятия количества информации.
Относительная энтропия и её свойства.
Ортогональные преобразования случайных векторов.
Выпуклость средней взаимной информации.
Случайные процессы непрерывного времени.
Средняя взаимная информация между случайными процессами.
Поиск экстремумов.
Кодирование в дискретных каналах.
Классификация каналов связи.
Постановка задачи кодирования в дискретном канале.
Неравенство Фано.
Общая обратная теорема кодирования для дискретных каналов.
Информационная ёмкость дискретных каналов без памяти.
Симметричные дискретные каналы без памяти.
Дискретные стационарные каналы с аддитивным по модулю L-шумом.
Неравенство Файнстейна.
Прямая теорема кодирования для дискретных каналов без памяти.
Прямая теорема кодирования для дискретных стационарных каналов с аддитивным эргодическим шумом.
Декодирование для кодов с заданным множеством кодовых слов.
Верхняя граница вероятности ошибки декодирования для дискретных каналов без памяти.
Нижняя граница вероятности ошибки декодирования для дискретных каналов без памяти (граница сферической упаковки).
Кодирование в непрерывных каналах.
Непрерывные каналы с дискретным временем. Обратная теорема кодирования.
Непрерывные каналы без памяти с дискретным временем.
Каналы с непрерывным временем. Обратная теорема кодирования.
Прямая теорема кодирования для непрерывных каналов с аддитивным белым гауссовским шумом.
Кодирование источников с заданным критерием качества.
Критерии качества. Постановка задачи кодирования с заданным критерием качества.
Эпсилон-энтропия и её свойства.
Обратная теорема кодирования непрерывных источников при заданном критерием качества.
Эпсилон-энтропия гауссовского источника без памяти.
Прямая теорема кодирования стационарного источника независимых гауссовских сообщений при квадратическом критерии качества.
Эпсилон-энтропия гауссовского случайного вектора.
Эпсилон-энтропия стационарного гауссовского процесса дискретного времени.
Формулировка прямой теоремы кодирования для стационарного гауссовского источника с дискретным временем.
Кодирование в системах с многими пользователями.
Кодирование зависимых источников.
Кодирование источников с дополнительной информацией.
Кодирование в каналах с множественным доступом.
Кодирование в широковещательных каналах.
Приложения.
Предметный указатель.В каждой главе приводятся задачи, исторический комментарий и список литературы.