Теория информации

Ученица 10 А класса ГОУ РМЭ ЦО № 18

Коробкова Анна

г. Йошкар-Ола, 2004

1) Введение. Понятие энтропии.

2) Понятие информации.

3) Решение некоторых типовых задач.

4) Заключение

5) Список использованной литературы.

Главным свойством случайных событий является отсутствие полной уверенности в их наступлении, создающее известную неопределённость при выполнении связанных с этими событиями опытов. Однако совершенно ясно, что степень этой неопределённости в различных случаях будет совершенно разной. Возникновение математической теории информации стало возможным после того, как было осознанно, что количество информации можно задать числом.

Для практики очень важно уметь численно оценивать степень неопределённости самых разнообразных опытов. Начнём с рассмотрения опытов, имеющих к равновероятных исходов. Очевидно, что степень неопределённости каждого такого опыта определяется числом к: если при к=1 исход опыта вообще не является случайным, то при большом к предсказать исход опыта очень и очень сложно. Таким образом, искомая численная степень неопределённости должна являться функцией числа к, при к =1 обращаться в нуль и возрастать при возрастании числа к.

Теперь рассмотрим два независимых опыта А и В. Пусть опыт А имеет к равновероятных исходов, а опыт В – равновероятных исходов. Очевидно, что степень неопределённости двойного опыта АВ равна сумме степеней неопределённости опытов А и В. А так как опыт АВ имеет ks равновероятных исходов, приходим к следующему условию, которому должна удовлетворять наша функция f(k):

f(ks)=f(k)+f(s).

Это условие наталкивает на мысль принять за меру неопределённости опыта, имеющего к равновероятных исходов, число logk, так как логарифмическая функция – единственная, удовлетворяющая всем вышеперечисленным условиям. Заметим, что выбор основания системы логарифмов здесь несуществен, так как в силу известной формулы

log_b k = log_b alog_a k

переход от одной системы логарифмов к другой сводится лишь к простому изменению единицы измерения степени неопределённости. Как правило, используются логарифмы при основании 2. Такая единица измерения называется двоичной единицей или битом.

Общая неопределённость опыта, имеющего к исходов, равна сумме неопределённостей, вносимых каждым исходом. Это число называют энтропией опыта А, будем его обозначать через Н(А). Рассмотрим некоторые свойства энтропии. Прежде всего, она не может принимать отрицательные значения: т.к. всегда

0 ≤ p(A) ≤ 1, то logp(A) не может быть положительным, а – p(A) logp(A) – отрицательным (р(А) – вероятность получения исхода А в опыте). Также заметим, что если р очень мало, то и произведение – p(A) logp(A) тоже будет весьма малым, хотя и положительным, т.е. при р произведение – plogp неограниченно убывает. Энтропия опыта равна нулю, когда один из его исходов имеют степень вероятности 1, а остальные – степень вероятности 0. Наибольшую энтропию имеет опыт с равновероятными исходами.

Пусть какое-либо измерение или наблюдение Б, предшествующее опыту А, может ограничить количество возможных исходов опыта А и тем самым уменьшить степень его неопределённости. Для того, чтобы результат Б сказался на последующем опыте А, нужно, чтобы его результат не был известен заранее; поэтому Б можно рассматривать как вспомогательный, также имеющий несколько допустимых исходов. При этом, если опыт А не зависит от опыта Б, то осуществление Б не уменьшает энтропии А; если же наоборот результат Б полностью предопределяет исход А, то энтропия А уменьшается до 0.

Таким образом, разность

I(A,Б)= H(A) – H_б (A)

указывает, насколько осуществление опыта Б уменьшает неопределённость А. Эту разность называют количеством информации относительно опыта А, содержащемся в опыте Б, или, короче, информацией о А, содержащейся в Б. Таким образом, мы получаем возможность численного изменения информации.

Часто может случиться, что, желая узнать исход какого-либо опыта А, мы можем с этой целью по-разному выбирать опыты Б. В этом случае всегда рекомендуется начинать с того опыта Б₀ , который содержит наибольшую информацию относительно А, так как при другом опыте Б мы вероятно добьемся менее значительного уменьшения степени неопределённости А. Реально же, конечно, может получиться и наоборот.

Также необходимо заметить, хотя это и не относится к той части теории, которая пригодится нам для решения задач, что информация имеет ярко выраженный материальный характер — то есть она может передаваться только с помощью вещества или энергии.

Пусть известно, что житель некоторого города А всегда говорят правду, а жители соседнего города Б всегда обманывают. Наблюдатель Н. знает, что он находится в одном из этих двух городов, но не знает, в каком именно. Путём опроса встречного ему требуется определить, в каком городе он находится, или в каком городе живёт его собеседник (жители А могут заходить в Б и наоборот), или то и другое вместе. Спрашивается, каково наименьшее число вопросов, которые должен задать Н. (на все вопросы встречные отвечают лишь да или нет)?

Пусть Н. надо определить, в каком городе он находится. Здесь опыт А может иметь 2 равновероятных исхода. Энтропия Н(А) опыта А равна одному биту. Далее, опыт Б в составе одного вопроса, также может иметь два исхода, поэтому энтропия Н(Б

Внимание, отключите Adblock

Вы посетили наш сайт со включенным блокировщиком рекламы!
Ссылка для скачивания станет доступной сразу после отключения Adblock!

Скачать