Теория информации — это раздел кибернетики, в котором с помощью математических методов изучаются способы измерения количества информации и методы построения кодов в целях сжатия информации и надежной передачи по каналам связи. При формальном представлении знаний каждому описываемому объекту ставится в соответствие числовой код, связи между объектами также представляются кодами.
Уроки
Предмет курса. Виды информации. Теорема дискретизации
Непрерывная информация представляет собой непрерывный процесс изменения некоторой величины.
Дискретная информация представляет собой последовательность отсчётов (замеров значений) непрерывной величины, взятых через некоторый, обычно равный, промежуток времени, т.е. с некоторой частотой дискретизации f
Базовые понятия теории информации
Информация — нематериальная сущность, с помощью которой с любой точностью можно описывать реальные (материальные), виртуальные (возможные) и понятийные сущности. Информация противоположна неопределённости.
Кодирование — преобразование информации на упорядоченный набор символов, элементов, знаков.
Энтропия источника. Свойства количества информации и энтропии
Количество информации, содержащееся в одном элементарном сообщении [katex]x_i[/katex], не полностью характеризует источник. Источник дискретных сообщений может быть охарактеризован средним количеством информации, приходящимся на одно элементарное сообщение, носящим название энтропия источника
Условная энтропия
Ранее полученная формула определения энтропии является мерой среднего количества информации, на одно сообщение источника статистически независимых сообщений. Такая энтропия называется безусловной. Как известно из математической статистики мерой нарушения статистической независимости сообщений [katex]x[/katex] и [katex]y[/katex] служит условная вероятность [katex]p(x/y)[/katex] появления сообщения [katex]x_i[/katex] при условии, что уже выбрано сообщение [katex]y_j[/katex] или условная вероятность появления сообщения [katex]y_j[/katex], если появилось сообщение [katex]x_i[/katex], причем в общем случае [katex]p(x/y) \ne p(y/x)[/katex].
Энтропия объединения двух источников
Энтропию [katex]H(X,Y)[/katex] объединения двух источников [katex]X[/katex] и [katex]Y[/katex] находят через вероятности совместного появления пар сообщений [katex]x_i, y-j[/katex] для всех [katex]i = 1 \dots k, j = 1 \dots l[/katex], которые…
Характеристики источников дискретной информации
Производительность дискретного источника информации. Скорость передачи информации Пусть дискретный источник [katex]X[/katex] выдает последовательность сообщений [katex]\{x_i\}[/katex], заданных вероятностями [katex]\{p_i\}[/katex]. Если источником выбирается одно сообщение [katex]x_i[/katex], то им вырабатывается некоторое количество информации…
Вопросы для самоконтроля
Какие существуют виды информации? Как перевести непрерывную информацию в дискретный (цифровой) вид? Что такое частота дискретизации непрерывной информации? Как формулируется теорема дискретизации? Что такое информация, кодирование, канал связи, шум? В…