к библиотеке   к ТПОИ   визуальные среды - 4GL   технологии программирования

МАТЕМАТИЧЕСКАЯ ТЕОРИЯ ПЕРЕДАЧИ ИНФОРМАЦИИ

  1. Понятие информации
  2. Количество информации, и ее мера
  3. Свойства количества информации
  4. Понятие энтропии
  5. Свойства энтропии сообщений
  6. Избыточность сообщений
  7. Теоремы Шеннона
  8. Литература

Клод Шеннон

Математическая теория передачи информации родилась как продолжение теории связи (проводной и радио) и взаимствование теории энтропии Людвига Больцмана, которая была разработана им для понимания статистических процессов, происходящих в паровых машинах XIX века.

В теории передачи информации, неправильно называемой "теорией информации" исследуются узкие вопросы корректной передачи информации в технических системах передачи данных: каналах и линиях связи. Эта теория не рассматривает никаких иных свойств, форм и уровней информации, кроме ее статистической меры. Вне ее рассмотрения и все активные форма пеерработки информации: классификация, распознавание, моделирование, управление. Фактически эта теория есть теория статистичеких мер информации в каналах связи, а единственными критериями являются сохранение передаваемой информации от искажений и оптимизация пропускной способности каналов связи.

Количество информации, и ее статистическая мера

На вход системы передачи информации (СПИ) от источника информации подается совокупность сообщений, выбранных из ансамбля сообщений (рис. 1).

Рис. 1. Система передачи информации

Ансамбль сообщений – множество возможных сообщений с их вероятностными характеристиками – {Х, р(х)}. При этом: Х={х1, х2,…, хm} – множество возможных сообщений источника; i = 1, 2,…, m, где m – объем алфавита; p(xi) – вероятности появления сообщений, причем p(xi) і 0 и поскольку вероятности сообщений представляют собой полную группу событий, то их суммарная вероятность равна единице

.

Каждое сообщение несет в себе определенное количество информации. Определим количество информации, содержащееся в сообщении xi, выбранном из ансамбля сообщений источника {Х, р(х)}. Одним из параметров, характеризующих данное сообщение, является вероятность его появления – p(xi), поэтому естественно предположить, что количество информации I(xi) в сообщении xi является функцией p(xi). Вероятность появления двух независимых сообщений x1 и x2 равна произведению вероятностей p(x1, x2) = p(x1).p(x2), а содержащаяся в них информация должна обладать свойством аддитивности, т.е.:

I(x1, x2) = I(x1)+I(x2). (1)

Поэтому для оценки количества информации предложена логарифмическая мера:

. (2)

При этом наибольшее количество информации содержат наименее вероятные сообщения, а количество информации в сообщении о достоверном событии равно нулю. Т. к. все логарифмы пропорциональны, то выбор основания определяет единицу информации: logax = logbx/logba.

В зависимости от основания логарифма используют следующие единицы информации:

2 – [бит] (bynary digit – двоичная единица), используется при анализе ин-формационных процессов в ЭВМ и др. устройствах, функционирующих на основе двоичной системы счисления;

e – [нит] (natural digit – натуральная единица), используется в математических методах теории связи;

10 – [дит] (decimal digit – десятичная единица), используется при анализе процессов в приборах работающих с десятичной системой счисления.

Бит - двоичная единица статистической меры информации, количество информации, которое снимает неопределенность в отношении наступления одного из двух равновероятных (p0 = 0.5, p1 = 0.5), независимых событий.

Схожую меру другого иерархического уровня (комбинаторно-геометрического) - двоичный разряд часто путают с битом, считая, что байт (8 двоичных разрядов) = 8 битам, хотя это не так. (в двоичных разрядах не задана вероятность, а значит, не может быть определена мера от вероятности).

Среднее количество информации для всей совокупности сообщений можно получить путем усреднения по всем независимым событиям:

. (3)

Количество информации, в сообщении, состоящем из n не равновероятных его элементов равно (эта мера предложена в 1948 г. К. Шенноном):

. (4)

Для случая независимых равновероятных событий количество информации определяется (эта мера предложена в 1928 г. Р. Хартли):

            (5)

Кроме этих мер информации существуют и иные, производные от энтропии статистические меры:

- расстояние Кульбака как асимметричная информационная мера:

где p(x), q(x) - вероятности двух наборов случайных величин, а D - информационное расстояние от ансамбля {p} до элементов другого ансамбля {q}.

- дивергенция Кульбака как симметричная информационная мера:

где p(x), q(x) - вероятности двух наборов случайных величин, а D - расстояние между ансамблями {p} и {q}.

Свойства количества информации

1. Количество информации в сообщении обратно – пропорционально вероятности появления данного сообщения.

2. Свойство аддитивности – суммарное количество информации двух источников равно сумме информации источников.

3. Для события с одним исходом количество информации равно нулю.

4. Количество информации в дискретном сообщении растет в зависимости от увеличения объема алфавита – m.

Пример 1. Определить количество информации в сообщении из 8 двоичных символов (n = 8, m = 2), если вероятности равны: pi0 = pi1 = 1/2.

Количество информации равно:

I = n log m = 8 log2 2 = 8 бит.

Пример 2. Определить количество информации в сообщении из 8 двоичных символов (n = 8, m = 2), если вероятности равны:

pi0 = 3/4; pi1 = 1/4.

Количество информации равно:

Понятие энтропии

Энтропия - содержательность, мера неопределенности информации. Понятие энтропии известно с XIX века благодаря трудам трудам великого немецкого физика Рудольфа Клаузиуса, который ввел в 1851 году понятие энтропии для объемов газа и дал формулы ее вычисления из параметров газовой среды. Само же сущеностное значение энтропии не было тогда раскрыто.

Впервые, сущность энтропии и ее меру открыл в 1871 году великий физик Людвиг Больцман. Он рассматривал количество неопределенности в ансамбле молекул газа и решил проблему физического смысла энтропии как меру хаоса в ансамбле молекул (некотором объеме газа).

Энтропия - математическое ожидание H(x) случайной величины I(x) определенной на ансамбле {Х, р(х)}, т.е. она характеризует среднее значение количества информации, приходящееся на один символ.

. (6)

Определим максимальное значение энтропии Hmax(x). Воспользуемся методом неопределенного множителя Лагранжа -l для отыскания условного экстремума функции [6]. Находим вспомогательную функцию:

(7)

Представим вспомогательную функцию F в виде:

. (8)

Найдем максимум этой функции

т. к.

.

Как видно из выражения, величина вероятности pi не зависит от i, а это может быть в случае, если все pi равны, т.е. p1 =p2 =…=pm =1/m.

При этом выражение для энтропии равновероятных, независимых элементов равно:

. (9)

Найдем энтропию системы двух альтернативных событий с вероятностями p1 и p2. Энтропия равна

Свойства энтропии сообщений

1. Энтропия есть величина вещественная, ограниченная, не отрицательная, непрерывная на интервале 0 Ј p Ј 1.

2. Энтропия максимальна для равновероятных событий.

3. Энтропия для детерминированных событий равна нулю.

4. Энтропия системы двух альтернативных событий изменяется от 0 до 1.

Энтропия численно совпадает со средним количеством информации но принципиально различны, так как:

H(x) – выражает среднюю неопределенность состояния источника и является его объективной характеристикой, она может быть вычислена априорно, т.е. до получения сообщения при наличии статистики сообщений.

I(x) – определяется апостериорно, т.е. после получения сообщения. С получением информации о состоянии системы энтропия снижается.

Избыточность сообщений

Одной из информационных характеристик источника дискретных сообщений является избыточность, которая определяет, какая доля максимально-возможной энтропии не используется источником

, (10)

где μ – коэффициент сжатия.

Избыточность приводит к увеличению времени передачи сообщений, уменьшению скорости передачи информации, излишней загрузки канала, вместе с тем, избыточность необходима для обеспечения достоверности передаваемых данных, т.е. надежности СПД, повышения помехоустойчивости. При этом, применяя специальные коды, использующие избыточность в передаваемых сообщениях, можно обнаружить и исправить ошибки.

Пример 1. Вычислить энтропию источника, выдающего два символа 0 и 1 с вероятностями p(0) = p(1) = 1/m и определить его избыточность.

Решение: Энтропия для случая независимых, равновероятных элементов равна: H(x) = log2m = log22 = 1 [дв. ед/симв.]

При этом H(x) = Hmax(x) и избыточность равна R = 0.

Пример 2. Вычислить энтропию источника независимых сообщений, выдающего два символа 0 и 1 с вероятностями p(0) = 3/4, p(1) = 1/4.

Решение: Энтропия для случая независимых, не равновероятных элементов равна:

При этом избыточность равна R = 1–0,815=0,18

Пример 3. Определить количество информации и энтропию сообщения из пяти букв, если число букв в алфавите равно 32 и все сообщения равновероятные.

Решение: Общее число пятибуквенных сообщений равно: N = mn = 32

Энтропия для равновероятных сообщений равна:

H = I = – log2 1/N = log2325 = 5 log232 = 25 бит./симв.

Теоремы Шеннона

1. Теорема Шеннона - Хартли - (на самом деле теорема Хартли, выведенная им за 15 лет до Шеннона), одна из основных теорем теории информации о передаче сигналов по каналам связи при наличии помех, приводящих к искажениям. Пусть надлежит передать последовательность символов, появляющихся с определёнными вероятностями, причём имеется некоторая вероятность того, что передаваемый символ в процессе передачи будет искажён. Простейший способ, позволяющий надёжно восстановить исходную последовательность по получаемой, состоит в том, чтобы каждый передаваемый символ повторять большое число (N) раз. Однако это приведёт к уменьшению скорости передачи в N раз, т. е. сделает её близкой к нулю. Ш. т. утверждает, что можно указать такое, зависящее только от рассматриваемых вероятностей положительное число v, что при сколько угодно малом ?>0 существуют способы передачи со скоростью v'(v' < v), сколь угодно близкой к v, дающие возможность восстанавливать исходную последовательность с вероятностью ошибки, меньшей ?. В то же время при скорости передачи v', большей v, это уже невозможно. Упомянутые способы передачи используют надлежащие «помехоустойчивые» коды. Критическая скорость v определяется из соотношения Hv = C, где Н — Энтропия источника на символ, С — ёмкость канала в двоичных единицах в секунду.
Рассматривая все возможные многоуровневые и многофазные методы шифрования, теорема Шеннона — Хартли утверждает, что пропускная способность канала C, означающая теоретическую верхнюю границу скорости передачи данных, которые можно передать с данной средней мощностью сигнала S через аналоговый канал связи, подверженный аддитивному белому гауссовскому шуму мощности N равна:

где
C — пропускная способность канала, бит/с;
B — полоса пропускания канала, Гц;
S — полная мощность сигнала над полосой пропускания, Вт или В?;
N — полная шумовая мощность над полосой пропускания, Вт или В?;
S/N — частное от деления отношения сигнала к его шуму (SNR) на гауссовский шум, выраженное как отношение мощностей.

2. Теорема Шеннона-Котельникова, теорема отсчетов - (на самом деле теорема Котельникова, доказанная им в 1933 г., когда Шеннону было еще 17 лет)

Литература

  1. Гринченко А.Г. Теория информации и кодирование: Учебн. пособие. – Харьков: ХПУ, 2000.
  2. Цымбал В.П. Теория информации и кодирование. – М.: Высш. шк., 1986.
  3. Кловский Д.Д. Теория передачи сигналов. – М.: Связь, 1984.
  4. Кудряшов Б.Д. Теория информации. Учебник для вузов Изд-во ПИТЕР, 2008. – 320 с.
  5. Цымбал В.П. Теория информации и кодирование. – М.: Высш. шк., 1986.
  6. Асанов М.О., Баранский В.А., Расин В.В. Дискретная математика: графы матроиды, алгоритмы. – Ижевск: НИЦ “РХД”, 2001, 288 стр.
Знаете ли Вы, как разрешается парадокс Ольберса?
(Фотометрический парадокс, парадокс Ольберса - это один из парадоксов космологии, заключающийся в том, что во Вселенной, равномерно заполненной звёздами, яркость неба (в том числе ночного) должна быть примерно равна яркости солнечного диска. Это должно иметь место потому, что по любому направлению неба луч зрения рано или поздно упрется в поверхность звезды.
Иными словами парадос Ольберса заключается в том, что если Вселенная бесконечна, то черного неба мы не увидим, так как излучение дальних звезд будет суммироваться с излучением ближних, и небо должно иметь среднюю температуру фотосфер звезд. При поглощении света межзвездным веществом, оно будет разогреваться до температуры звездных фотосфер и излучать также ярко, как звезды. Однако в дело вступает явление "усталости света", открытое Эдвином Хабблом, который показал, что чем дальше от нас расположена галактика, тем больше становится красным свет ее излучения, то есть фотоны как бы "устают", отдают свою энергию межзвездной среде. На очень больших расстояниях галактики видны только в радиодиапазоне, так как их свет вовсе потерял энергию идя через бескрайние просторы Вселенной. Подробнее читайте в FAQ по эфирной физике.

НОВОСТИ ФОРУМАФорум Рыцари теории эфира
Рыцари теории эфира
 24.03.2017 - 11:13: СОВЕСТЬ - Conscience -> Просвещение от Бориса Сергеевича Миронова - Карим_Хайдаров.
23.03.2017 - 07:00: СОВЕСТЬ - Conscience -> ПРОБЛЕМА КРИМИНАЛИЗАЦИИ ЭКОНОМИКИ - Карим_Хайдаров.
22.03.2017 - 01:45: СОВЕСТЬ - Conscience -> Просвещение от Андрея Фурсова - Карим_Хайдаров.
21.03.2017 - 16:33: СОВЕСТЬ - Conscience -> РУССКИЙ МИР - Карим_Хайдаров.
21.03.2017 - 16:16: Беседка - Chatter -> WHO IS WHO - КТО ЕСТЬ КТО - Карим_Хайдаров.
19.03.2017 - 16:36: СОВЕСТЬ - Conscience -> КОЛЛАПС МИРОВОЙ ФИНАНСОВОЙ СИСТЕМЫ - Карим_Хайдаров.
19.03.2017 - 10:54: СОВЕСТЬ - Conscience -> Проблема государственного терроризма - Карим_Хайдаров.
19.03.2017 - 06:26: Беседка - Chatter -> "Зенит"ы с "Протон"ами будут падать - Карим_Хайдаров.
18.03.2017 - 19:57: Беседка - Chatter -> ФУТУРОЛОГИЯ - прогнозы на будущее - Карим_Хайдаров.
18.03.2017 - 10:00: ЭКОЛОГИЯ - Ecology -> Геофизическая безопасность человека - Карим_Хайдаров.
17.03.2017 - 11:21: СОВЕСТЬ - Conscience -> Просвещение от Сергея Салля - Карим_Хайдаров.
14.03.2017 - 11:47: СОВЕСТЬ - Conscience -> Просвещение от Ю.Ю. Болдырева - Карим_Хайдаров.
Bourabai Research Institution home page

Bourabai Research - Технологии XXI века Bourabai Research Institution