Расчет информационных характеристик источников сообщений сигналов и кодов

Министерство образования и науки РФ

Пензенский государственный университет

Кафедра «Информационной безопасности систем и технологий»

Пояснительная записка к курсовой работе

по теме:

«Расчет информационных характеристик источников сообщений, сигналов и кодов»

ПГУ 2.010905.001 ПЗ

Дисциплина: Теория информации

Пенза, 2008г.

Реферат

АНСАМБЛЬ СООБЩЕНИЯ, ДИСКРЕТНОЕ СООБЩЕНИЕ, ИСТОЧНИК СООБЩЕНИЙ, КАНАЛ БЕЗ ШУМА, КАНАЛ С ШУМОМ, ЭФФЕТИВНОЕ КОДИРОВАНИЕ, ПОМЕХОУСТОЙЧИВОЕ КОДИРОВАНИЕ, ЭНТРОПИЯ.

Объектом исследования являются источники сообщений, сигналы и кодов.

Целью работы является расчет информационных характеристик источника сообщений, сигналов и кодов.

В процессе работы был произведен расчет различных информационных характеристик источников сообщений, сигналов и кодов.

В результате работы все задачи были решены и все требования задания были выполнены.

Содержание

Реферат

Введение

1. Расчет информационных характеристик источников дискретных сообщений

1.1 Задача № 1.30

1.2 Задача № 1.48

1.3 Задача № 1.67

2. Расчет информационных характеристик дискретного канала

2.1 Задача № 2.24

2.2 Задача № 2.58

3. Согласование дискретного источника с дискретным каналом без шума. Эффективное кодирование

3.1 Задача № 3.24

3.2 Задача № 3.54

3.3 Задача № 3.84

3.4 Задача № 3.114

4. Согласование дискретного источника с дискретным каналом с шумом. Помехоустойчивое кодирование

4.1 Задача № 4.24

4.2 Задача № 4.54

Заключение

Список используемых источников

Введение

Эффективная организация обмена информации приобретает все большее значение как условие успешной практической деятельности людей. Объем информации, необходимой для нормального функционирования современного общества, растет примерно пропорционально квадрату развития промышленного потенциала. Доля рабочей силы занятой вопросами обеспечения информацией начинает превышать долю рабочей силы занятой непосредственно в производстве. Поэтому науки, изучающие структуру и закономерности протекания информационных процессов, к числу которых относится и теория информации (ТИ), в такой ситуации становятся исключительно актуальными.

Дисциплина связана с предшествующими ей дисциплинами "Высшая математика", "Теория вероятности и матстатистика", "Дискретная математика" и последующими дисциплинами "Компьютерная электроника", "Вычислительные системы", "Сети ЭВМ", "Надежность, контроль, диагностика и эксплуатация ЭВМ", "Основы защиты информации" и др.

Основной задачей теории информации как самостоятельной дисциплины является оптимальное использование информационных характеристик источников сообщений и каналов связи для построения кодов, обеспечивающих заданную достоверность передаваемой информации с максимально возможной скоростью и минимально возможной стоимостью передачи сообщений. Частными задачами при этом являются: проблемы измерения количества информации, изучение свойств информации, изучение методов помехоустойчивого кодирования, исследование взаимодействия систем и элементов систем методами теории информации, решение задач прикладного характера.

В данной курсовой работе проводится расчет основных информационных характеристик источника сообщений, сигналов и каналов. Теория информации представляет собой ветвь статистической теории связи. Информация передается, и хранится в виде сообщений. Сообщение - это информация представленная в какой-либо форме. Первый раздел курсовой работы носит название: «Расчёт информационных характеристик источника дискретного сообщения». Изменяющийся во времени физический процесс, отражающий передаваемое сообщение называется сигналом . Сигнал передаётся по каналу связи. Второй раздел работы называется: «Расчёт информационных характеристик дискретного канала». В оставшихся двух разделах решаются задачи по темам: согласование дискретного источника с дискретным каналом с шумом и без шума, эффективное и помехоустойчивое кодирование. Их решение основываются на постулатах таких ученых как Шеннон, Хаффман, Фано.

1. Расчет информационных характеристик источников дискретных сообщений

1.1 Задача № 1.30

Распределение вероятностей дискретной случайной величины имеет вид:

Определить число n значений случайной величины, при которых энтропия H_p (X) равномерного распределения будет равна энтропии H(X) заданного распределения.

Решение :

Определим энтропию заданного распределения. Для нахождении энтропии данного дискретного ансамбля воспользуемся формулой (1.4), соответствующей определению энтропии (Энтропия – это среднее количество информации, содержащееся в одном сообщение источника). Вычислим энтропию распределения:

.

Равномерное распределение предполагает равные вероятности всех возможных исходов, при этом энтропия

.

Из условия, что

находим:

Ответ: при объеме алфавита n = 7 , энтропия H_p (X) равномерного распределения будет равна энтропии H(X) заданного распределения.

1.2 <

Внимание, отключите Adblock

Вы посетили наш сайт со включенным блокировщиком рекламы!
Ссылка для скачивания станет доступной сразу после отключения Adblock!

Скачать