Рассмотренные математические модели детерминированных сигналов являлись известными функциями времени. Их использование позволяет успешно решать задачи, связанные с определением реакций конкретных систем на заданные входные сигналы. Случайные составляющие, всегда имеющие место в реальном входном сигнале, считают при этом пренебрежимо малыми и не принимают во внимание.
Однако единственная точно определенная во времени функция не может служить математической моделью сигнала при передаче и преобразовании информации. Поскольку получение информации связано с устранением априорной неопределенности исходных состояний, однозначная функция времени только тогда будет нести информацию, когда она с определенной вероятностью выбрана из множества возможных функций. Поэтому в качестве моделей сигнала используется случайный процесс. Каждая выбранная детерминированная функция рассматривается как реализация этого случайного процесса.
Необходимость применения статистических методов исследования диктуется и тем, что в большинстве практически важных случаев пренебрежение воздействием помехи в процессах передачи и преобразования информации недопустимо. Считается, что воздействие помехи на полезный сигнал проявляется в непредсказуемых искажениях его формы. Математическая модель помехи представляется также в виде случайного процесса, характеризующегося параметрами, определенными на основе экспериментального исследования. Вероятностные свойства помехи, как правило, отличны от свойств полезного сигнала, что и лежит в основе методов их разделения.
Учитывая, что все фундаментальные выводы теории информации базируются на указанном статистическом подходе при описании сигналов (и помех), уточним основные характеристики случайного процесса как модели сигнала.
Под случайным (стохастическим) процессом подразумевают такую случайную функцию времени U(t), значения которой в каждый момент времени случайны. Конкретный вид случайного процесса, зарегистрированный в определенном опыте, называют реализацией случайного процесса. Точно предсказать, какой будет реализация в очередном опыте, принципиально невозможно. Могут быть определены лишь статистические данные, характеризующие все множество возможных реализаций, называемое ансамблем. Ценность таких моделей сигналов в том, что появляется возможность судить о поведении информационной системы не по отношению к конкретной реализации, а по отношению ко всему ансамблю возможных реализаций.
Основными признаками, по которым классифицируются случайные процессы, являются: пространство состояний, временной параметр и статистические зависимости между случайными величинами U(ti) в разные моменты времени ti.
Пространством состояний называют множество возможных значений случайной величины
U(ti). Случайный процесс, у которого множество состояний составляет континуум, а изменения состояний возможны в любые моменты времени, называют непрерывным случайным процессом. Если же изменения состояний допускаются лишь в конечном или счетном числе моментов времени, то говорят о непрерывной случайной последовательности.
Случайный процесс с конечным множеством состояний, которые могут изменяться в произвольные моменты времени, называют дискретным случайным процессом. Если же изменения состояний возможны только в конечном или счетном числе моментов времени, то говорят о дискретных случайных последовательностях.
Примеры реализаций указанных случайных процессов представлены на рис.1.1
Так как в современных информационных системах предпочтение отдается цифровым методам передачи и преобразования информации, то непрерывные сигналы с датчиков, как правило, преобразуются в дискретные, описываемые дискретными случайными последовательностями. Вопросы такого преобразования рассмотрены в гл.2.
Среди случайных процессов с дискретным множеством состояний нас будут интересовать такие, у которых статистические зависимости распространяются на ограниченное число
k следующих друг за другом значений. Они называются обобщенными марковскими процессами k-го порядка.
Вероятностные характеристики случайного процесса. В соответствии с определением случайный процесс
U(t) может быть описан системой N обычно зависимых случайных величин U1 = U(t1),..., Ui= U(ti),..., UN = U(tN), взятых в различные моменты времени t1... ti... tN. При неограниченном увеличении числа N такая система эквивалентна рассматриваемому случайному процессу U(t).
Исчерпывающей характеристикой указанной системы является
N-мерная плотность вероятности pN(U1,..., Ui,..., UN; t1,..., tN). Она позволяет вычислить вероятность РN реализации, значения которой в моменты времени t1,t2,...,tN будут находиться соответственно в интервалах (u1, u1+Дu1),..., (ui, ui+ ui),..., (uN, uN + uN), где ui(1) - значение, принимаемое случайной величиной Ui, (рис.1.12).
Если Дui, выбраны достаточно малыми, то справедливо соотношение
Получение
N-мерной плотности вероятности на основе эксперимента предполагает статистическую обработку реализаций, полученных одновременно от большого числа идентичных источников данного случайного процесса. При больших N это является чрезвычайно трудоемким и дорогостоящим делом, а последующее использование результатов наталкивается на существенные математические трудности.
На практике в таком подробном описании нет необходимости. Обычно ограничиваются одно - или двумерной плотностью вероятности.
Одномерная плотность вероятности
p1(U1; t1) случайного процесса U(t) характеризует распределение одной случайной величины U1, взятой в произвольный момент времени t1. В ней не находит отражения зависимость случайных величин в различные моменты времени.
Двумерная плотность вероятности
p2 = p2(U1, U2; t1, t2) позволяет определить вероятность совместной реализации любых двух значений случайных величин U1 и U2 в произвольные моменты времени t1 и t2 и, следовательно, оценить динамику развития процесса. Одномерную плотность вероятности случайного процесса U(t) можно получить из двумерной плотности, воспользовавшись соотношением
Использование плотности вероятности даже низших порядков в практических приложениях часто приводит к неоправданным усложнениям. В большинстве случаев оказывается достаточно знания простейших характеристик случайного процесса, аналогичных числовым характеристикам случайных величин. Наиболее распространенными из них являются моментные функции первых двух порядков: математическое ожидание и дисперсия, а также корреляционная функция.
Математическим ожиданием случайного процесса
U(t) называют неслучайную функцию времени mu(t1), которая при любом аргументе t1 равна среднему значению случайной величины U(t\) по всему множеству возможных реализаций:
Степень разброса случайных значений процесса
U(t1) от своего среднего значения mu(t1) для каждого t1 характеризуется дисперсией Du(t1):
Du(t1) в каждый момент времени t1 равна квадрату среднеквадратического отклонения s
u(t1):
Случайные процессы могут иметь одинаковые математические ожидания и дисперсии (рис.1.13, а, б), однако резко различаться по быстроте изменений своих значений во времени.
Для оценки степени статистической зависимости мгновенных значений процесса U(t) в произвольные моменты времени t1 и t2 используется неслучайная функция аргументов Ru(t1,t2), называемая автокорреляционной или просто корреляционной функцией.
При конкретных аргументах
t1 и t2 она равна корреляционному моменту значений процесса U(t1) и U(t2):
Через двумерную плотность вероятности выражение (1.71) представляется в виде
В силу симметричности этой формулы относительно аргументов справедливо равенство
Для сравнения различных случайных процессов вместо корреляционной функции удобно пользоваться нормированной функцией автокорреляции:
Из сравнения (1.69) и (1.70) следует, что при произвольном
t1 = t2 автокорреляционная функция вырождается в дисперсию:
а нормированная функция автокорреляции равна единице:
Следовательно, дисперсию случайного процесса можно рассматривать как частное значение автокорреляционной функции.
Аналогично устанавливается мера связи между двумя случайными процессами
U(t) и V(t). Она называется функцией взаимной корреляции:
Знаете ли Вы, почему "черные дыры" - фикция? Согласно релятивистской мифологии, "чёрная дыра - это область в пространстве-времени, гравитационное притяжение которой настолько велико, что покинуть её не могут даже объекты, движущиеся со скоростью света (в том числе и кванты самого света). Граница этой области называется горизонтом событий, а её характерный размер - гравитационным радиусом. В простейшем случае сферически симметричной чёрной дыры он равен радиусу Шварцшильда". На самом деле миф о черных дырах есть порождение мифа о фотоне - пушечном ядре. Этот миф родился еще в античные времена. Математическое развитие он получил в трудах Исаака Ньютона в виде корпускулярной теории света. Корпускуле света приписывалась масса. Из этого следовало, что при высоких ускорениях свободного падения возможен поворот траектории луча света вспять, по параболе, как это происходит с пушечным ядром в гравитационном поле Земли. Отсюда родились сказки о "радиусе Шварцшильда", "черных дырах Хокинга" и прочих безудержных фантазиях пропагандистов релятивизма. Впрочем, эти сказки несколько древнее. В 1795 году математик Пьер Симон Лаплас писал: "Если бы диаметр светящейся звезды с той же плотностью, что и Земля, в 250 раз превосходил бы диаметр Солнца, то вследствие притяжения звезды ни один из испущенных ею лучей не смог бы дойти до нас; следовательно, не исключено, что самые большие из светящихся тел по этой причине являются невидимыми." [цитата по Брагинский В.Б., Полнарёв А. Г. Удивительная гравитация. - М., Наука, 1985] Однако, как выяснилось в 20-м веке, фотон не обладает массой и не может взаимодействовать с гравитационным полем как весомое вещество. Фотон - это квантованная электромагнитная волна, то есть даже не объект, а процесс. А процессы не могут иметь веса, так как они не являются вещественными объектами. Это всего-лишь движение некоторой среды. (сравните с аналогами: движение воды, движение воздуха, колебания почвы). Подробнее читайте в FAQ по эфирной физике.
ui),..., (uN, uN + 
) - значение, принимаемое случайной величиной Ui, (рис.1.12).
(t1) = U(t1) - mu(t1) - центрированная случайная величина.
