Хронология развития теории информации

Хронология событий, связанных с теорией информации, сжатием данных, кодами коррекции ошибок и смежных дисциплин:

· 1872 — Людвиг Больцман представляет свою H-теорема, а вместе с этим формулу Σp i log p i для энтропии одной частицы газа.

· 1878 — Джозайя Уиллард Гиббс, определяет энтропию Гиббса: вероятности в формуле энтропии теперь взяты как вероятности состояния целой системы.

· 1924 — Гарри Найквист рассуждает о квантификации «Интеллекта» и скорости, на которой это может быть передано системой коммуникации.

· 1927 — Джон фон Нейман определяет фон Неймановскую энтропию, расширяя Гиббсовскую энтропию в квантовой механике.

· 1928 — Ральф Хартли представляет Формулу Хартли, как логарифм числа возможных сообщений, с информацией, передаваемой, когда приемник (получатель, ресивер) может отличить одну последовательность символов от любой другой (независимо от любого связанного значения).

· 1929 — Лео Сцилард анализирует Демон Максвелла, показывают, как двигатель Szilard может иногда преобразовывать информацию в извлечение полезной работы.

· 1940 — Алан Тьюринг представляет deciban как единицу измерения информации в немецкой машине Энигма с настройками, зашифрованными процессом Banburismus.

· 1944 — теория информации Клод Шеннона в основном завершена.

· 1946 — Ричард Хемминг представляет Код Хемминга для обнаружения ошибок и их исправления.

· 1948 — Клод Шеннон публикует Математическую теорию связи

· 1949 — Клод Шеннон публикует Передачу Информации в виде шумов — пример теорема Найквиста — Шеннона и закон Шеннон-Хартлей.

· 1949 — Рассекречена Теория конфиденциальности систем коммуникации Клода Шеннона.

· 1949 — Дж. Голей вводит коды Голея для исправления ошибок методом упреждения.

· 1950 — Ричард Хемминг вводит коды Хемминга для исправления ошибок методом упреждения.

· 1951 — Дэвид Хаффман изобретает кодирование Хаффмана, метод нахождения оптимальных Префиксных кодов для сжатия данных без потерь.

· 1951 — Соломон Кульбак и Ричард Леиблер вводят понятие расхождения Кульбака-Леиблера.

· 1954 — Ирвинг С. Рид и Д.E. Мюллер вводит коды Рида-Мюллера.

· 1955 — Питер Элиас вводит свёрточные коды.

· 1957 — Юджин Прандж первый обсуждает циклический избыточный код.

· 1959 — Радж Чандра Боуз и Двайджендра Камар Рей-Чоудхури, и самостоятельно в следующем году Алексис Хоквингем, представляют коды Боуза-Чоудхури-Хоквингема (БЧХ-коды).

· 1960 — Ирвинг С. Рид и Густав Соломон вводят коды Рида-Соломона.

· 1962 — Роберт Галлагер предлагает код с малой плотностью проверок на чётность; их не использовали в течение 30 лет из-за технических ограничений.

· 1967 — Эндрю Витерби открывает алгоритм Витерби, делающий возможным декодирование свёрточных кодов.

· 1968 — Элвин Берклекамп изобретает алгоритм Берлекэмпа — Мэсси; его применение к расшифровке БЧХ-кодов и кода Рида-Соломона, указанный Джеймсом Мэсси в последующем году.

· 1968 — Крис Уоллис и Дэвид М. Бутон издают первый из многих докладов о Сообщениях минимальной длины (СМД) — их статистический и индуктивный вывод.

· 1973 — Дэвид Слепиан и Джек Уолф открывают и доказывают код Слепиан-Уольфа, кодирующего пределы распределенного источника кодирования.

· 1977 — Джома Райссанен патентует арифметическое кодирование для IBM.

· 1977 — Абрахамом Лемпель и Якоб Зив развивают алгоритм сжатия Лемпеля-Зива (LZ77)

· 1982 — Готфилд Андебоэк создает Trellis-модуляцию, поднимая скорость аналогового модема старой обычной телефонной службы от 9.6 кбит/сек до 36 кбит/сек.

· 1989 — Фил Катз создает .zip формат, включая формат сжатия DEFLATE (LZ77 + Huffman кодирование); позже это становится наиболее широко используемым алгоритмом сжатия без потерь.

· 1993 — Клод Берроу , Алэйн Главиукс и П.Ситимашимой вводят понятие Турбо-кодов.

· 1993 — Майкл Барроуз и Дэвид Уилер публикуют теорию преобразования Барроуза-Уилера, которая далее найдет свое применение в bzip2.

Вклад отечественных ученных в теорию информации

· Понятие марковской цепи принадлежит русскому математику А. А. Маркову, чьи первые статьи по этому вопросу при решении лингвистических проблем были опубликованы в 1906—1908

· 1933 — Академиком В. А. Котельниковым в была доказана знаменитая теорема отсчетов.

· 1947 — В. А. Котельниковым создана теория потенциальной помехоустойчивости. Теория потенциальной помехоустойчивости давала возможность синтеза оптимальных устройств обработки любых сигналов в присутствии помех. Она имела два раздела — теория приема дискретных и аналоговых сигналов.

· 1948—1949 — Основы Информационной теории были заложены американским ученым Клодом Шенноном . В её теоретические разделы внесен вклад советским учеными А. Н. Колмогоровым и А. Я. Хинчиным, а в разделы, соприкасающиеся с применениями, — В. А. Котельниковым, А. А. Харкевичем и др.

· 1950 — При сравнении конкретных кодов с оптимальными широко используются результаты Р. Р. Варшамова. Интересные новые границы для возможностей исправления ошибок установлены В. И. Левенштейном и В. М. Сидельниковым.

· 1956 — Были нужны работы математического уровня, закладывающие математический фундамент теории информации. Задача была решена известным докладом А. Н. Колмогорова на сессии АН СССР, посвященной автоматизации производств

Внимание, отключите Adblock

Вы посетили наш сайт со включенным блокировщиком рекламы!
Ссылка для скачивания станет доступной сразу после отключения Adblock!

Скачать