Основные свойства энтропии
1. Энтропия является величиной вещественной и неотрицательной, т.к. значения вероятностей p
n находятся в интервале 0-1, значения log pn всегда отрицательны, а значения -pn log pn в (1.4.2) соответственно положительны.2. Энтропия - величина ограниченная, т.к. при p
n Ю 0 значение -pnЧ log pn также стремится к нулю, а при 0 < pn Ј 1 ограниченность суммы всех слагаемых очевидна.3. Энтропия равна 0, если вероятность одного из состояний источника информации равна 1, и тем самым состояние источника полностью определено (вероятности остальных состояний источника равны нулю, т.к. сумма вероятностей должна быть равна 1).
4. Энтропия максимальна при равной вероятности всех состояний источника информации:
Hmax(U) = -
(1/N) log(1/N) = log N.
5. Энтропия источника с двумя состояниями u1 и u2 при изменении соотношения их вероятностей p(u1)=p и p(u2)=1-p определяется выражением:
H(U) = -[p log p + (1-p) log(1-p)],
и изменяется от 0 до 1, достигая максимума при равенстве вероятностей. График изменения энтропии приведен на рис. 1.4.1.
6. Энтропия объединенных статистически независимых источников информации равна сумме их энтропий.
Рассмотрим это свойство на двух источниках информации u и v. При объединении источников получаем обобщенный источник информации (u,v), который описывается вероятностями p(unvm) всех возможных комбинаций состояний un источника u и vm источника v. Энтропия объединенного источника при N возможных состояниях источника u и М возможных состояниях источника v:
H(UV) = -
p(unvm) log p(unvm),
Источники статистически независимы друг от друга, если выполняется условие:
p(unvm) = p(un)Ч p(vm).
С использованием этого условия соответственно имеем:
H(UV) = -p(un)p(vm) log [p(un)p(vm)] =
= -p(un) log p(un)p(vm) -p(vm) log p(vm)p(um).
С учетом того, что
p(vm) = 1, получаем:H(UV) = H(U) + H(V). (1.4.3)
7. Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля, полностью игнорируя содержательную сторону ансамбля. С одной стороны, это расширяет возможности использования энтропии при анализе самых различных явлений, но, с другой стороны, требует определенной дополнительной оценки возникающих ситуаций. Как это следует из рис. 1.4.1, энтропия состояний может быть неоднозначной, и если в каком-либо экономическом начинании действие u с вероятностью p
u=p приводит к успеху, а действие v с вероятностью pv=1-p к банкротству, то выбор действий по оценке энтропии может оказаться и прямо противоположным, т.к. энтропия при pv=p равна энтропии при pu=p.
|
|
 |