Хэмминг Р.В. Теория кодирования и теория информации

М.: Радио и связь, 1983. — 176 с.Рассматриваются основные теории кодирования и передачи информации. Описываются свойства источника сообщения и каналов, дается классификация различных кодов. Особое внимание уделяется помехоустойчивым кодам с исправлением и с обнаружением ошибок. Приводятся примеры использования теории кодирования и теории информации.
Для инженерно-технических работников, специализирующихся в области передачи, хранения и обработки информации.Предисловие редактора перевода
Предисловие
Введение
Краткая аннотация
История
Модель системы передачи сигналов
Источник сообщений
Кодирование алфавита источника
Некоторые коды
Код ASCII
Некоторые другие коды
Коды с основанием r
Служебные знаки
Краткое содержание книги
Коды с обнаружением ошибок
Для чего нужны коды с обнаружением ошибок?
Простые проверки на четность
Коды с обнаружением ошибок
Независимые ошибки — белый шум
Повторная передача сообщения
Простые коды для обнаружения пакетов ошибок
Буквенно-цифровые коды — взвешенные коды
Обзор модулярной арифметики
Номера книг в системе ISBN
Коды с исправлением ошибок
Необходимость в исправлении ошибок
Прямоугольные коды
Треугольные, кубические и n-мерные коды
Коды Хэмминга для исправления ошибок
Эквивалентные коды
Геометрический подход
Коды с исправлением одиночных ошибок и обнаружением двойных ошибок
Применение идей
Итоги
Неравномерные коды — коды Хаффмена
Введение
Однозначное декодирование
Мгновенные коды
Построение мгновенных кодов
Неравенство Крафта
Укороченные блочные коды
Неравенство Макмиллана
Коды Хаффмена
Частные случаи кодов Хаффмена
Расширение кода
Коды Хаффмена с основанием r
Шум в вероятностях кода Хаффмена
Использование кодов Хаффмена
Коды Хэмминга-Хаффмена
Другие полезные коды
Введение
Что такое марковский процесс?
Эргодические марковские процессы
Эффективное кодирование эргодического марковского процесса
Расширение марковского процесса
Кодирование с предсказанием
Кодер для кодирования с предсказанием
Декодер
Длины серий
Итоги рассмотрения кодирования с предсказанием
Что такое перемешивание?
Обработка столкновений
Удаление из таблицы
Итоги рассмотрения перемешивания
Цель кода Грея
Подробное представление кода Грея
Декодирование кода Грея
Другие коды
Энтропия и первая теорема Шеннона
Введение
Информация
Энтропия
Математические свойства энтропии
Энтропия и кодирование
Кодирование Шеннона-Фано
Насколько плохим является кодирование Шеннона-Фано?
Расширения кода
Примеры расширений
Энтропия марковского процесса
Пример марковского процесса
Смежная система
Итоги
Канал и взаимная информация
Введение
Информационный канал
Соотношения в канале
Двоичный симметричный канал
Энтропия системы
Взаимная информация
Теорема Шеннона для семейств кодов
Пропускная способность канала
Определение пропускной способности канала
Канал, симметричный по входу
Равномерный вход
Коды с исправлением ошибок
Пропускная способность двоичного симметричного канала
Условная взаимная информация
Предварительные математические сведения
Введение
Гамма-функция Г(n)
Приближение Стирлинга для n!
Биномиальная оценка
Евклидово n-мерное пространство
Один парадокс
Неравенство Чебышева и дисперсия
Закон больших чисел
Основная теорема Шеннона
Введение
Решающие правила
Двоичный симметричный канал
Случайное кодирование
Средний случайный код
Общий случай
Оценка Фано
Обратная теорема Шеннона
Алгебраическая теория кодирования
Введение
Еще раз о кодах с проверкой на четность и с обнаружением ошибок
Еще раз о кодах Хэмминга
Еще раз о кодах с обнаружением двойных ошибок
Многочлены или векторы?
Простые многочлены
Примитивные корни
Один частный случай
Регистры сдвига для кодирования
Декодирование кодов с исправлением одиночных ошибок
Код с исправлением двойных ошибок
Декодирование с исправление кратных ошибок
ИтогиШирина полосы и теорема отсчетов
Введение
Интеграл Фурье
Теорема отсчетов
Ширина полосы и скорость изменения
Амплитудная модуляция
Импульсная модуляция
Ширина полосы с общей точки зрения
Некоторые таблицы для вычисления энтропииСписок литературы
Список литературы, переведенный на русский язык
Дополнительный список литературы
Указатель