Энтропия сигналов

Контрольная работа

По курсу: Теория информации и кодирования

На тему: Энтропия сигналов

1. ЭНТРОПИЯ ОБЪЕДИНЕНИЯ

Объединение - совокупность двух и более ансамблей дискретных, случайных событий. С объединением связаны понятия условной, безусловной, совместной и взаимной энтропии.

1. Безусловная энтропия - среднее количество информации, приходящееся на один символ (рис. 1). Если Х – передаваемое, а У - принимаемое сообщения, то можно записать следующие соотношения:

H(X) = H(X/Y)+H(X×Y), H(Y) = H(Y/X)+H(X×Y).

X Y X Y

Рис. 1. Безусловная энтропия

2. Условная энтропия - количество информации об источнике, когда известно, что принимается Y, или мера количества информации в приемнике когда известно, что передается X (рис. 2).

H(X/Y) = H(X)-H(X?×Y) H(Y/X) = H(Y)-H(X?×Y).

X Y X Y

Рис. 2. Условная энтропия

3. Совместная энтропия - среднее количество информации на пару пе-реданных и принятых символов (рис. 3).

H(X,Y) = H(Y,X) = H(X)+H(Y/X)= H(Y)+H(X/Y)= H(X)+H(Y)-H(X×Y).

4. Взаимная энтропия - энтропия совместного появления статистически-зависимых сообщений (рис. 4).

H(X×?Y)=H(Y×X)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X,Y)-H(X/Y)- H(Y/X).

X Y

Рис. 3 Совместная энтропия

X Y

Рис. 4. Взаимная энтропия

На практике чаще всего встречаются взаимозависимые символы и сообщения. Например, при передаче текстовых сообщений передаются не просто буквы, а слова, имеющие определенные смысловые значения. При этом, каждая буква, и сочетание букв имеют различные вероятности появления в тексте. Условная энтропия учитывает взаимосвязь событий через их условные вероятности.

Рассмотрим схему рис. 5:

Приемник сообщений

Источник сообщений

X Y

Рис. 5. Передача сообщений

Источник сообщений X - вырабатывает сообщения, элементами которого являются символы алфавита источника {x₁ ,x₂ ,...,x_m } , вероятности появления на выходе которых равны p(x₁ ), p(x₂ ), ..., p(x_m ) , при этом:

Энтропия источника представляет собой неопределенность появления на выходе источника сообщений символа первичного алфавита и определяется соотношением:

()

Приемник сообщений Y - принимает сообщения, элементами которого являются символы алфавита приемника {y₁ ,y₂ ,...,y_m } , вероятности появления на входе которых равны p(y₁ ), p(y₂ ),..., p(y_m ), при этом:

Энтропия приемника представляет собой неопределенность появления на входе приемника сообщений символа после его появления на выходе источника и определяется соотношением:

(2)

Если в канале связи отсутствуют потери информации (нет помех, ис-кажений и т. д.), то символу x_i соответствует символ y_i . В противном случае x_i может быть принят как любой из возможных y₁ ,y₂ ,...,y_m , с соответствующими вероятностями.

При отсутствии потерь: H(X) = H(Y). При наличии помех они уничто-жают часть информации. При этом потери информации можно определить через частные и общую условную энтропию.

Вычисление общей условной энтропии удобно производить с помощью канальных матриц ( матрицей переходных состояний).

Потери информации в канале можно оценивать со стороны источника или приемника сообщений.

Рассмотрим порядок определения потерь со стороны источника (известен передаваемый сигнал). При этом, условная вероятность p(y_j /x_i ) означает вероятность того, что при передаче сообщения x_i получено сообщение y_j . Канальная матрица имеет вид, приведенный в табл. 1.

Таблица 1

Y X	y1 y2 ym
x1 x2 xm	p(y1 /x1 ) p(y2 /x1 ) . . . p(ym /x1 ) p(y1 /x2 ) p(y2 /x2 ) . . . p(ym /x2 ) p(y1 /xm ) p(y2 /xm ) . . . p(ym /xm )

При этом:

.

Вероятности, расположенные на диагонали характеризует вероятность правильного приема, остальные – ложного, чем они расположены дальше от диагонали, тем они меньше. При отсутствии помех в канале связи элементы матрицы, расположенные по диагонали, равны

Внимание, отключите Adblock

Вы посетили наш сайт со включенным блокировщиком рекламы!
Ссылка для скачивания станет доступной сразу после отключения Adblock!

Скачать