Марковский процесс что это такое


Марковские процессы: примеры. Марковский случайный процесс

Марковские процессы были выведены учеными в 1907 году. Ведущие математики того времени развивали эту теорию, некоторые совершенствуют ее до сих пор. Эта система распространяется и в других научных областях. Практические цепи Маркова применяются в различных сферах, где человеку необходимо прибывать в состоянии ожидания. Но, чтобы четко понимать систему, нужно владеть знаниями о терминах и положениях. Главным фактором, который определяет Марковский процесс, считаются случайности. Правда, он не схож с понятием неопределенности. Для него присущи определенные условия и переменные.

Особенности фактора случайности

Это условие подчиняется статической устойчивости, точнее, ее закономерностям, которые не учитываются при неопределенности. В свою очередь, данный критерий позволяет использовать математические методы в теории Марковских процессов, как отмечал ученый, изучавший динамику вероятностей. Созданная им работа касалась непосредственно этих переменных. В свою очередь, изученный и развившийся случайный процесс, имеющий понятия состояния и перехода, а также применяемый в стохастических и математических задачах, при этом дает возможность этим моделям функционировать. Кроме всего прочего, он дает возможность совершенствоваться другим важным прикладным теоретическим и практическим наукам:

  • диффузионная теория;
  • теория массового обслуживания;
  • теория надежности и прочего;
  • химия;
  • физика;
  • механика.

Этот Марковский процесс обусловлен случайной функцией, то есть любое значение аргумента считается данной величиной или той, что принимает заранее заготовленный вид. Примерами служат:

  • колебания в цепи;
  • скорость движения;
  • шероховатость поверхности на заданном участке.

Также принято считать, что фактом случайной функции выступает время, то есть происходит индексация. Классификация имеет вид состояния и аргумент. Этот процесс может быть с дискретными, а также непрерывными состояниями или временем. Причем случаи разные: все происходит или в одном, или в другом виде, или одновременно.

Детальный разбор понятия случайности

Построить математическую модель с необходимыми показателями эффективности в явно аналитическом виде было достаточно сложно. В дальнейшем реализовать данную задачу стало возможно, ведь возник Марковский случайный процесс. Разбирая детально это понятие, необходимо вывести некоторую теорему. Марковский процесс – это физическая система, изменившая свое положение и состояние, которые заранее не были запрограммированы. Таким образом, выходит, что в ней протекает случайный процесс. Например: космическая орбита и корабль, который выводится на нее. Результат достигнут лишь благодаря каким-то неточностям и корректировкам, без этого не реализуется заданный режим. Большинству происходящих процессов присущи случайность, неопределенность.

По существу вопроса, практически любой вариант, который можно рассмотреть, будет подвержен этому фактору. Самолет, техническое устройство, столовая, часы – все это подвержено случайным изменениям. Причем данная функция присуща любому происходящему процессу в реальном мире. Однако пока это не касается индивидуально настроенных параметров, происходящие возмущения воспринимаются как детерминированные.

Понятие Марковского случайного процесса

Проектировка какого-либо технического или механического прибора, устройства вынуждает создателя учитывать различные факторы, в частности неопределенности. Вычисление случайных колебаний и возмущений возникает в момент личной заинтересованности, например, при реализации автопилота. Некоторые процессы, изучаемые в науках вроде физики и механики, являются таковыми.

Но обращать на них внимание и проводить скрупулезные исследования следует начинать в тот момент, когда это непосредственно нужно. Марковский случайный процесс имеет следующее определение: характеристика вероятности будущего вида зависит от состояния, в котором он находится в данный момент времени, и не имеет отношения к тому, как выглядела система. Итак, данное понятие указывает на то, что результат можно предсказать, учитывая лишь вероятность и забыв про предысторию.

Подробное токование понятия

В настоящий момент система находится в определенном состоянии, она переходит и меняется, предсказать, что будет дальше, по сути, невозможно. Но, учитывая вероятность, можно сказать, что процесс будет завершен в определенном виде или сохранит предыдущий. То есть будущее возникает из настоящего, забывая о прошлом. Когда система или процесс переходит в новое состояние, то предысторию обычно опускают. Вероятность в Марковских процессах играет немаловажную роль.

Например, счетчик Гейгера показывает число частиц, которое зависит от определенного показателя, а не от того, в какой именно момент оно пришло. Здесь главным выступает вышеуказанный критерий. В практическом применении могут рассматриваться не только Марковские процессы, но и подобные им, к примеру: самолеты участвуют в бою системы, каждая из которых обозначена каким-либо цветом. В данном случае главным критерием вновь выступает вероятность. В какой момент произойдет перевес в числе, и для какого цвета, неизвестно. То есть этот фактор зависит от состояния системы, а не от последовательности гибели самолетов.

Структурный разбор процессов

Марковским процессом называется любое состояние системы без вероятностного последствия и без учета предыстории. То есть, если включить будущее в настоящее и опустить прошлое. Перенасыщение данного времени предысторией приведет к многомерности и выведет сложные построения цепей. Поэтому лучше эти системы изучать простыми схемами с минимальными числовыми параметрами. В результате эти переменные считаются определяющими и обусловленными какими-либо факторами.

Пример Марковских процессов: работающий технический прибор, который в этот момент исправен. В данном положении вещей интерес представляет вероятность того, что устройство будет функционировать еще длительный период времени. Но если воспринимать оборудование как отлаженное, то этот вариант уже не будет принадлежать к рассматриваемому процессу ввиду того, что нет сведений о том, сколько аппарат работал до этого и производился ли ремонт. Однако если дополнить эти две переменные времени и включить их в систему, то ее состояние можно отнести к Марковскому.

Описание дискретного состояния и непрерывности времени

Модели Марковских процессов применяются в тот момент, когда необходимо пренебречь предысторией. Для исследования в практике наиболее часто встречаются дискретные, непрерывные состояния. Примерами такой ситуации являются: в структуру оборудования входят узлы, которые в условиях рабочего времени могут выйти из строя, причем происходит это как незапланированное, случайное действие. В результате состояние системы подвергается ремонту одного или другого элемента, в этот момент какой-то из них будет исправен или они оба будут отлаживаться, или наоборот, являются полностью налаженными.

Дискретный Марковский процесс основан на теории вероятности, а также является переходом системы из одного состояния в другое. Причем данный фактор происходит мгновенно, даже если происходят случайные поломки и ремонтные работы. Чтобы провести анализ такого процесса, лучше использовать графы состояний, то есть геометрические схемы. Системные состояния в таком случае обозначены различными фигурами: треугольниками, прямоугольниками, точками, стрелками.

Моделирование данного процесса

Марковские процессы с дискретными состояниями – возможные видоизменения систем в результате перехода, осуществляющегося мгновенно, и которые можно пронумеровать. Для примера можно построить график состояния из стрелок для узлов, где каждая будет указывать путь различно направленных факторов выхода из строя, рабочего состояния и т. д. В дальнейшем могут возникать любые вопросы: вроде того, что не все геометрические элементы указывают верное направление, ведь в процессе способен испортиться каждый узел. При работе важно учитывать и замыкания.

Марковский процесс с непрерывным временем происходит тогда, когда данные заранее не фиксируются, они происходят случайно. Переходы ранее были не запланированы и происходят скачками, в любой момент. В данном случае вновь главную роль играет вероятность. Однако, если сложившаяся ситуация относится к указанной выше, то для описания потребуется разработать математическую модель, но важно разбираться в теории возможности.

Вероятностные теории

Данные теории рассматривают вероятностные, имеющие характерные признаки вроде случайного порядка, движения и факторов, математические задачи, а не детерминированные, которые являются определенными сейчас и потом. Управляемый Марковский процесс имеет фактор возможности и основан на нем. Причем данная система способна переходить в любое состояние мгновенно в различных условиях и временном промежутке.

Чтобы применять эту теорию на практике, необходимо владеть важными знаниями вероятности и ее применения. В большинстве случаев каждый пребывает в состоянии ожидания, которое в общем смысле и есть рассматриваемая теория.

Примеры теории вероятности

Примерами Марковских процессов в данной ситуации могут выступать:

  • кафе;
  • билетные кассы;
  • ремонтных цеха;
  • станции различного назначения и пр.

Как правило, люди ежедневно сталкиваются с этой системой, сегодня она носит название массового обслуживания. На объектах, где присутствует подобная услуга, есть возможность требования различных запросов, которые в процессе удовлетворяются.

Скрытые модели процесса

Такие модели являются статическими и копируют работу оригинального процесса. В данном случае основной особенностью является функция наблюдения за неизвестными параметрами, которые должны быть разгаданы. В результате эти элементы могут использоваться в анализе, практике или для распознавания различных объектов. Обычные Марковские процессы основаны на видимых переходах и на вероятности, в скрытой модели наблюдаются только неизвестные переменные, на которые оказывает влияние состояние.

Сущностное раскрытие скрытых Марковских моделей

Также она имеет распределение вероятности среди других значений, в результате исследователь увидит последовательность символов и состояний. Каждое действие имеет распределение по вероятности среди других значений, ввиду этого скрытая модель дает информацию о сгенерированных последовательных состояниях. Первые заметки и упоминания о них появились в конце шестидесятых годов прошлого столетия.

Затем их стали применять для распознавания речи и в качестве анализаторов биологических данных. Кроме того, скрытые модели распространились в письме, движениях, информатике. Также эти элементы имитируют работу основного процесса и пребывают в статике, однако, несмотря на это, отличительных особенностей значительно больше. В особенности данный факт касается непосредственного наблюдения и генерирования последовательности.

Стационарный Марковский процесс

Данное условие существует при однородной переходной функции, а также при стационарном распределении, считающимся основным и, по определению, случайным действием. Фазовым пространством для данного процесса является конечное множество, но при таком положении вещей начальная дифференциация существует всегда. Переходные вероятности в данном процессе рассматриваются при условиях времени или дополнительных элементах.

Детальное изучение Марковских моделей и процессов выявляет вопрос об удовлетворении равновесия в различных сферах жизни и деятельности общества. С учетом того, что данная отрасль затрагивает науку и массовое обслуживание, ситуацию можно исправить, проанализировав и спрогнозировав исход каких-либо событий или действий тех же неисправных часов или техники. Чтобы полностью использовать возможности Марковского процесса, стоит детально в них разбираться. Ведь этот аппарат нашел широкое применение не только в науке, но и в играх. Эта система в чистом виде обычно не рассматривается, а если и используется, то только на основе вышеупомянутых моделей и схем.

fb.ru

Лекция № 6 Основы теории массового обслуживания

Теория массового обслуживания составляет один из разделов теории вероятностей. В этой теории рассматриваются вероятностныезадачи и математические модели (до этого нами рассматривались детерминированные математические модели). Напомним, что:

Детерминированная математическая модель отражает поведение объекта (системы, процесса) с позицийполной определенностив настоящем и будущем.

Вероятностная математическая модельучитывает влияние случайных факторов на поведение объекта (системы, процесса) и, следовательно, оценивает будущее с позиций вероятности тех или иных событий.

Т.е. здесь как, например, в теории игр задачи рассматриваются в условияхнеопределенности.

Рассмотрим сначала некоторые понятия, которые характеризуют «стохастическую неопределенность», когда неопределенные факторы, входящие в задачу, представляют собой случайные величины (или случайные функции), вероятностные характеристики которых либо известны, либо могут быть получены из опыта. Такую неопределенность называют еще «благоприятной», «доброкачественной».

Понятие случайного процесса

Строго говоря, случайные возмущения присущи любому процессу. Проще привести примеры случайного, чем «неслучайного» процесса. Даже, например, процесс хода часов (вроде бы это строгая выверенная работа – «работает как часы») подвержен случайным изменениям (уход вперед, отставание, остановка). Но до тех пор, пока эти возмущения несущественны, мало влияют на интересующие нас параметры, мы можем ими пренебречь и рассматривать процесс как детерминированный, неслучайный.

Пусть имеется некоторая система S(техническое устройство, группа таких устройств, технологическая система – станок, участок, цех, предприятие, отрасль промышленности и т.д.). В системеSпротекаетслучайный процесс, если она с течением времени меняет свое состояние (переходит из одного состояния в другое), причем, заранее неизвестным случайным образом.

Примеры: 1. СистемаS– технологическая система (участок станков). Станки время от времени выходят из строя и ремонтируются. Процесс, протекающий в этой системе, случаен.

2. Система S– самолет, совершающий рейс на заданной высоте по определенному маршруту. Возмущающие факторы – метеоусловия, ошибки экипажа и т.д., последствия – «болтанка», нарушение графика полетов и т.д.

Марковский случайный процесс

Случайный процесс, протекающий в системе, называется Марковским, если для любого момента времениt0вероятностные характеристики процесса в будущем зависят только от его состояния в данный моментt0и не зависят от того, когда и как система пришла в это состояние.

Пусть в настоящий момент t0система находится в определенном состоянииS0. Мы знаем характеристики состояния системы в настоящеми все, что было приtt0? В точности – нет, но какие-то вероятностные характеристики процесса в будущем найти можно. Например, вероятность того, что через некоторое времясистемаSокажется в состоянииS1или останется в состоянииS0и т.д.

Пример. СистемаS– группа самолетов, участвующих в воздушном бою. Пустьx– количество «красных» самолетов,y– количество «синих» самолетов. К моменту времениt0количество сохранившихся ( не сбитых) самолетов соответственно –x0,y0. Нас интересует вероятность того, что в момент временичисленный перевес будет на стороне «красных». Эта вероятность зависит от того, в каком состоянии находилась система в момент времениt0, а не от того, когда и в какой последовательности погибали сбитые до моментаt0самолеты.

На практике Марковские процессы в чистом виде обычно не встречаются. Но имеются процессы, для которых влиянием «предистории» можно пренебречь. И при изучении таких процессов можно применять Марковские модели (в теории массового обслуживания рассматриваются и не Марковские системы массового обслуживания, но математический аппарат, их описывающий, гораздо сложнее).

В исследовании операций большое значение имеют Марковские случайные процессы с дискретными состояниями и непрерывным временем.

Процесс называется процессом с дискретным состоянием, если его возможные состоянияS1,S2, … можно заранее определить, и переход системы из состояния в состояние происходит «скачком», практически мгновенно.

Процесс называется процессом с непрерывным временем, если моменты возможных переходов из состояния в состояние не фиксированы заранее, а неопределенны, случайны и могут произойти в любой момент.

Далее рассматриваются только процессы с дискретным состоянием и непрерывным временем.

Пример. Технологическая система (участок)Sсостоит из двух станков, каждый из которых в случайный момент времени может выйти из строя (отказать), после чего мгновенно начинается ремонт узла, тоже продолжающийся заранее неизвестное, случайное время. Возможны следующие состояния системы:

S0- оба станка исправны;

S1- первый станок ремонтируется, второй исправен;

S2- второй станок ремонтируется, первый исправен;

S3- оба станка ремонтируются.

Переходы системы Sиз состояния в состояние происходят практически мгновенно, в случайные моменты выхода из строя того или иного станка или окончания ремонта.

При анализе случайных процессов с дискретными состояниями удобно пользоваться геометрической схемой – графом состояний. Вершины графа – состояния системы. Дуги графа – возможные переходы из состояния в

Рис.1. Граф состояний системы

состояние. Для нашего примера граф состояний приведен на рис.1.

Примечание. Переход из состояния S0вS3на рисунке не обозначен, т.к. предполагается, что станки выходят из строя независимо друг от друга. Вероятностью одновременного выхода из строя обоих станков мы пренебрегаем.

studfiles.net

МА́РКОВСКИЙ ПРОЦЕ́СС

Авторы: А. В. Прохоров

МА́РКОВСКИЙ ПРОЦЕ́СС, слу­чай­ный про­цесс без по­сле­дей­ст­вия. Класс М. п. ши­ро­ко при­ме­ня­ет­ся в разл. раз­де­лах ес­те­ст­во­зна­ния и тех­ни­ки. М. п. яв­ля­ют­ся мо­де­ля­ми мн. про­цес­сов в фи­зи­ке (рас­пад ра­дио­ак­тив­но­го ве­ще­ст­ва, кас­кад­ные про­цес­сы), в био­ло­гии (рост по­пу­ля­ций, про­цес­сы му­та­ций, рас­про­стра­не­ние эпи­де­мий), в ас­тро­но­мии (флук­туа­ция яр­ко­сти га­лак­тик), в хи­мии, в мас­со­во­го об­слу­жи­ва­ния тео­рии.

Слу­чай­ный про­цесс $X(t)$ на­зы­ва­ет­ся мар­ков­ским, ес­ли для лю­бых двух мо­мен­тов вре­ме­ни $t_0$ и $t_1$, t_0, ус­лов­ное рас­пре­де­ле­ние слу­чай­ной ве­ли­чи­ны $X(t_1)$ при ус­ло­вии, что за­да­ны все зна­че­ния слу­чай­ных ве­ли­чин $X(t)$ при $t⩽t_0$, за­ви­сит толь­ко от зна­че­ния слу­чай­ной ве­ли­чи­ны $X(t_0)$. Это свой­ст­во, оп­ре­де­ляю­щее М. п., на­зы­ва­ет­ся мар­ков­ским свой­ст­вом или от­сут­ст­ви­ем по­сле­дей­ст­вия: со­стоя­ние про­цес­са $X(t)$ в мо­мент вре­ме­ни $t_0$ од­но­знач­но оп­ре­де­ля­ет рас­пре­де­ле­ние ве­ро­ят­но­стей бу­ду­ще­го раз­ви­тия про­цес­са при $t>t_0$, а ин­фор­ма­ция о про­шлом по­ве­де­нии про­цес­са до мо­мен­та $t_0$ не влия­ет на это рас­пре­де­ле­ние. В этом смыс­ле М. п. обоб­ща­ют де­тер­ми­ни­ро­ван­ные про­цес­сы клас­сич. фи­зи­ки. Раз­ви­тие тео­рии М. п. на­ча­лось в 1907 с ра­бот А. А. Мар­ко­ва, по­свя­щён­ных изу­че­нию по­сле­до­ва­тель­но­стей за­ви­си­мых слу­чай­ных ве­ли­чин (см. Мар­ко­ва цепь). Об­щая тео­рия М. п. и их клас­си­фи­ка­ция бы­ли да­ны А. Н. Кол­мо­го­ро­вым (1931).

Пер­вым был ис­сле­до­ван под­класс М. п. с дис­крет­ным мно­же­ст­вом со­стоя­ний. Пусть в ка­ж­дый мо­мент вре­ме­ни $t$ не­ко­то­рая сис­те­ма мо­жет на­хо­дить­ся в од­ном из со­стоя­ний $E_1(t), E_2(t),...,E_n(t)$ и с те­че­ни­ем вре­ме­ни слу­чай­ным об­ра­зом пе­ре­хо­дит из од­но­го со­стоя­ния в дру­гое. Для М. п. пе­ре­ход из со­стоя­ния $E_i(t)$ в не­ко­то­рый мо­мент вре­ме­ни в со­стоя­ние $E_j(t+△t)$ за про­ме­жу­ток вре­ме­ни $△t$ оп­ре­де­ля­ет­ся ве­ро­ят­но­стью $p_{ij}(t,△t)$ или $p_{ij}(△t)$ в од­но­род­ном слу­чае [т. е. ко­гда $p_{ij}(t,△t)$ за­ви­сит толь­ко от $△t$], при­чём эта ве­ро­ят­ность не за­ви­сит от то­го, как этот про­цесс раз­ви­вал­ся в про­шлом, т. е. до мо­мен­та вре­ме­ни $t$. Ве­ро­ят­но­сти $p_{ij}(t,△t)$ на­зы­ва­ют­ся пе­ре­ход­ны­ми ве­ро­ят­но­стя­ми. При очень ши­ро­ких ус­лови­ях пе­ре­ход­ные ве­ро­ят­но­сти М. п. удов­ле­тво­ря­ют сис­те­ме ли­ней­ных од­но­род­ных диф­фе­рен­ци­аль­ных урав­не­ний. Ти­пич­ным при­ме­ром та­ких М. п. яв­ля­ет­ся вет­вя­щий­ся про­цесс.

Боль­шое зна­че­ние в при­ло­же­ни­ях име­ют М. п., для ко­то­рых слу­чай­ное со­стоя­ние не­ко­то­рой сис­те­мы за­ви­сит от не­пре­рыв­но ме­няю­щих­ся па­ра­мет­ров. Важ­ным пред­ста­ви­те­лем та­ких М. п. слу­жит фи­зич. про­цесс диф­фу­зии, в ко­то­ром со­стоя­ние сис­те­мы опи­сы­ва­ет­ся не­пре­рыв­но из­ме­няю­щей­ся ко­ор­ди­на­той не­ко­то­рой час­ти­цы. В этом слу­чае вме­сто пе­ре­ход­ных ве­ро­ят­но­стей рас­смат­ри­ва­ют со­от­вет­ст­вую­щие плот­но­сти ве­ро­ят­но­сти $p(t,x,y)$, по ко­то­рым вы­чис­ля­ют­ся ве­ро­ят­но­сти $p(t,x,y)dy$ то­го, что час­ти­ца, на­хо­див­шая­ся в точ­ке с ко­ор­ди­на­той $x$, че­рез про­ме­жу­ток вре­ме­ни $t$ бу­дет иметь ко­ор­ди­на­ту, за­клю­чён­ную ме­ж­ду $y$ и $y+dy$. При не­ко­то­рых об­щих ус­ло­ви­ях плот­но­сти $p(t,x,y)$ удов­ле­тво­ря­ют диф­фе­рен­ци­аль­но­му урав­не­нию с ча­ст­ны­ми про­из­вод­ны­ми$$\frac{\partial }{\partial t}p(t,x,y)=-\frac{\partial }{\partial y}(A(y)p(t,x,y))+\frac{\partial^2 }{\partial y^2}(B(y)p(t,x,y)),$$ко­то­рое рас­смат­ри­ва­лось в фи­зи­ке для диф­фу­зи­он­но­го про­цес­са Фок­ке­ра – План­ка. В этом урав­не­нии ко­эф­фи­ци­ент $A(y)$ пред­став­ля­ет со­бой сред­нюю ско­рость из­ме­не­ния ко­ор­ди­на­ты $y$, а ко­эф­фи­ци­ент $B(y)$ – ин­тен­сив­ность слу­чай­ных ко­ле­ба­ний око­ло этой сред­ней ско­ро­сти. Важ­ным пред­ста­ви­те­лем это­го клас­са М. п. яв­ля­ет­ся бро­унов­ское дви­же­ние, ма­те­ма­тич. мо­де­лью ко­то­ро­го служит ви­не­ров­ский про­цесс.

bigenc.ru

Марковский процесс - это... Что такое Марковский процесс?

Ма́рковский проце́сс — случайный процесс, эволюция которого после любого заданного значения временно́го параметра не зависит от эволюции, предшествовавшей , при условии, что значение процесса в этот момент фиксировано («будущее» процесса не зависит от «прошлого» при известном «настоящем»; другая трактовка (Вентцель): «будущее» процесса зависит от «прошлого» лишь через «настоящее»).

Процесс Маркова — модель авторегрессии AR(1): xt=ψ1*xt-1+εt

История

Определяющее марковский процесс свойство принято называть марковским; впервые оно было сформулировано А. А. Марковым, который в работах 1907 г. положил начало изучению последовательностей зависимых испытаний и связанных с ними сумм случайных величин. Это направление исследований известно под названием теории цепей Маркова.

Однако уже в работе Л. Башелье можно усмотреть попытку трактовать броуновское движение как марковский процесс, попытку, получившую обоснование после исследований Винера в 1923.

Основы общей теории марковских процессов с непрерывным временем были заложены Колмогоровым.

Отличие Марковского процесса от Марковской цепи

Марковская цепь с дискретным временем — время дискретно, пространство состояний дискретно.

Марковская цепь с непрерывным временем — время непрерывно, пространство состояний дискретно

Марковский процесс — и время и пространство состояний непрерывно.

См. также

  • Цепь Маркова
  • Немарковский процесс
  • Скрытая марковская модель

Ссылки

  • Weisstein, Eric W. Markov process (англ.) на сайте Wolfram MathWorld.

dic.academic.ru

Марковские процессы - это... Что такое Марковские процессы?

  • Марковские процессы — вероятностные процессы, обладающие тем свойством, что при известном значении процесса в момент времени поведение процесса в более поздние моменты времени не зависит от его поведения до момента. Типичными примерами марковских процессов являются… …   Начала современного естествознания

  • СКАЧКООБРАЗНЫЕ МАРКОВСКИЕ ПРОЦЕССЫ — класс марковских случайныхпроцессов, у к рых значения изменяются мгновенно (скачки) в отдельные(случайные) моменты времени. В наиб. простом случае, когда марковский процесс может принимать лишь конечное или счётное число значений x1,..., х п …   Физическая энциклопедия

  • МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ — процессы без вероятностного последствия, статистич. свойства к рых в последующие моменты времени зависят только от значений процессов в данный момент и не зависят от их предыстории. M.с …   Физическая энциклопедия

  • ВЕРОЯТНОСТЕЙ ТЕОРИЯ — математическая наука, позволяющая по вероятностям одних случайных событий находить вероятности других случайных событий, связанных к. л. образом с первыми. Утверждение о том, что к. л. событие наступает с вероятностью, равной, напр., 1/2, еще не… …   Математическая энциклопедия

  • Вероятностей теория —         математическая наука, позволяющая по вероятностям одних случайных событий находить вероятности других случайных событий, связанных каким либо образом с первыми.          Утверждение о том, что какое либо событие наступает с Вероятностью,… …   Большая советская энциклопедия

  • МАРКОВСКИЙ ПРОЦЕСС — процесс без последействия, случайный процесс, эволюция к рого после любого заданного значения временного параметра tне зависит от эволюции, предшествовавшей t, при условии, что значение процесса в этот момент фиксировано (короче: будущее н… …   Математическая энциклопедия

  • Доказательства эволюции — Ископаемый археоптерикс, обнаруженный вскоре после публикации « …   Википедия

  • КОЛМОГОРОВА - ФЁЛЛЕРА УРАВНЕНИЕ — интегродифференц. ур ние для переходной плотности вероятности марковских случайных процессов с разрывными (скачкообразными) изменениями состояния. Получено А. Н. Колмогоровым в 1938 и У. Феллером (W. Feller) в 1940. Пусть, напр., реализации… …   Физическая энциклопедия

  • ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ — раздел математики, посвященный теории и методам решения многошаговых задач оптимального управления. В Д. п. для управляемых процессов среди всевозможных управлений ищется то, к рое доставляет экстремальное (наименьшее или наибольшее) значение… …   Математическая энциклопедия

  • ЭКСЦЕССИВНАЯ ФУНКЦИЯ — для марковского процесса аналог неотрицательной супергармонической функции. Пусть в измеримом пространстве задана однородная марковская цепь с вероятностями перехода за один шаг Измеримая относительно функция наз. эксцессивной функцией для этой… …   Математическая энциклопедия

dic.academic.ru

Понятие о марковских случайных процессах

Потоком событийназывают последовательность однородных собы­тий, появляющихся одно за другим в случайные моменты времени. При­меры: поток вызовов на телефонной станции; поток сбоев ЭВМ; поток заявок на проведение расчетов в вычислительном центре и т.п.

Поток событий наглядно изображается рядом точек с абсциссами Q1, Q2, ..., Qn, ... (рис. 6.15) с интервалами между ними: Т1 = Q2 - Q1, T2 = Q3 -Q2, ..., Тп = Qn+1 - Qn. При его вероятностном описании поток событий может быть представлен как последовательность случайных ве­личин:

Q1; Q2 = Q1 + T1; Q3 = Q1 + T1 + T2; и т.д.

На рисунке в виде ряда точек изображен не сам поток событий (он случаен), а только одна его конкретная реа­лизация.

Поток событий называется стационар­ным, если его вероятностные характеристики не зависят от выбора начала отсчета или, более конкретно, если вероятность попадания того или другого числа событий на любой интервал времени зависит только от длины этого интервала и не зависит от того, где именно на оси 0-t он расположен.

Рисунок 6.15 – Реализация потока событий

Поток событий называется ординарным, если вероятность попадания на элементарный интервал времени двух или более событий пренебре­жимо мала по сравнению с вероятностью попадания одного события.

Рисунок 6.16 – Поток событий как случайный процесс

Ординарный поток событий можно интерпретировать как случайный процесс Х(t) - число событий, появившихся до момента t(рис. 6.16). Случайный процесс Х(t) скачкообразно возрастает на одну единицу в точках Q ,Q2 ,...,Q n.

Поток событий называется потоком без последействия, если число собы­тий, попадающих на любой интервал времени , не зависит от того, сколь­ко событий попало на любой другой не пересекающийся с ним интервал. Практически отсутствие последействия в потоке означает, что события, образующие поток, появляются в те или другие моменты времени незави­симо друг от друга.

Поток событий называется простейшим, если он стационарен, ордина­рен и не имеет последействия. Интервал времени T между двумя соседними событиями простейшего потока имеет показательное распределение

(при t>0); (6.21)

где / М [Т] -величина, обратная среднему значению интервала Т.

Ординарный поток событий без последействия называется пуассоновским. Простейший поток является частным случаем стационарного пуассоновского потока. Интенсивностью потока событий называется среднее число событий, приходящееся на единицу времени. Для стационарного потока ; для нестационарного потока она в общем случае зависит от времени: .

Марковские случайные процессы. Случайный процесс называют марковским, если он обладает следующим свойством: для любого момента времени t0 вероят­ность любого состояния системы в будущем (при t >t0) зависит только от ее состояния в настоящем (при t =t0) и не зависит от того, каким обра­зом система пришла в это состояние.

В данной главе будем рассматривать только марковские процессы c дискретными состояниями S1, S2, ...,Sn. Такие процессы удобно иллюст­рировать с помощью графа состояний (рис. 5.4), где прямоугольниками (или кружками) обозначены состояния S1, S2, … системы S, а стрелками — возможные переходы из состояния в состояние (на графе отме­чаются только непосредственные переходы, а не переходы через другие состояния).

Рисунок 5.4 – Граф состояний случайного процесса

Иногда на графе состояний отмечают не только возможные пере­ходы из состояния в состояние, но и возможные задержки в прежнем состоянии; это изображается стрелкой («петлей»), направленной из данного состояния в него же, но можно обходиться и без этого. Число состояний системы может быть как конечным, так и бесконечным (но счетным).

Марковский случайный процесс с дискретными состояниями и дис­кретным временем обычно называют марковской цепью. Для такого про­цесса моменты t1, t2 ..., когда система S может менять свое состояние, удобно рассматривать как последовательные шаги процесса, а в качестве аргумента, от которого зависит процесс, рассматривать не время t, а номер шага: 1, 2, . . ., k;…. Случайный процесс в этом случае характеризуется последовательностью состояний

, (5.6)

если S(0) — начальное состояние системы (перед первым шагом); S(1) — состояние системы непосредственно после первого шага; ...; S(k) — со­стояние системы непосредственно после k-го шага ....

Событие Si, , (i= 1,2,...) является случайным событием, поэтому последо­вательность состояний (5.6) можно рассматривать как последователь­ность случайных событий. Начальное состояние S(0) может быть как заданным заранее, так и случайным. О событиях последовательности (5.6) говорят, что они образуют марковскую цепь.

Рассмотрим процесс с n возможными состояниями S1, S2, ..., Sn. Если обозначить через Х(t) номер состояния, в котором находится система S в мо­мент t, то процесс описывается целочисленной случай­ной функцией Х(t)>0, возможные значения которой равны 1, 2,...,n. Эта функция совершает скачки от одного целочисленного значения к другому в заданные моменты t1, t2, ... (рис. 5.5) и является непрерывной слева, что отмечено точками на рис. 5.5.

Рисунок 5.5 – График случайного процесса

Рассмотрим одномерный закон распределения случайной функции Х(t). Обозначим через вероятность того, что после k-го шага [и до (k+1)-го] система S будет в состоянии Si (i=1,2,...,n). Веро­ятности рi(k) называются вероятностями состояний цепи Маркова. Очевидно, для любого k

. (5.7)

Распределение вероятностей состояний в начале процесса

p1(0) ,p2(0),…,pi(0),…,pn(0) (5.8)

называется начальным распределением вероятностей марковской цепи. В частности, если начальное состояние S(0) системы S в точности извест­но, например S(0)=Si, то начальная вероятность Pi (0) = 1, а все остальные равны нулю.

Вероятностью перехода на k-м шаге из состояния Si в состояние Sj называется условная вероятность того, что система после k-го шага окажется в состоянии Sj при условии, что непосредственно перед этим (после k - 1 шагов) она находилась в состоянии Si. Вероятности перехода иногда называются также «переходными вероятностями».

Марковская цепь называется однородной, если переходные вероятности не зависят от номера шага, а зависят только от того, из какого состоя­ния и в какое осуществляется переход:

(5.9)

Переходные вероятности однородной марковской цепи Рij образуют квадратную таблицу (матрицу) размером n * n:

(5.10)

. (5.11)

Матрицу, обладающую таким свойством, называют стохастической. Вероятность Рij есть не что иное, как вероятность того, что система, при­шедшая к данному шагу в состояние Sj, в нем же и задержится на очеред­ном шаге.

Если для однородной цепи Маркова заданы начальное распределение вероятностей (5.8) и матрица переходных вероятностей (5.10), то вероятности состояний системы могут быть опреде­лены по рекуррентной формуле

(5.12)

Для неоднородной цепи Маркова вероятности перехода в матрице (5.10) и формуле (5.12) зависят от номера шага k.

Для однородной цепи Маркова, если все состояния являются сущест­венными, а число состояний конечно, существует предел определяемый из системы уравнений и Сумма переходных вероятностей в любой строке матрицы равна единице.

При фактических вычислениях по формуле (5.12) надо в ней учитывать не все состояния Sj, а только те, для которых переходные вероятности отличны от нуля, т.е. те, из которых на графе состояний ведут стрелки в состояние Si.

Марковский случайный процесс с дискретными состояниями и непрерывным временем иногда называют «непрерывной цепью Маркова». Для такого процесса вероятность перехода из состояния Si в Sj для любого момента времени равна нулю. Вместо вероятности перехода pij рассматривают плотность вероятности перехода которая определяется как предел отношения вероятности перехода из состояния Si в состояние Sj за малый промежуток времени , примыкающий к моменту t, к длине этого промежутка, когда она стремится к нулю. Плотность вероятности перехо­да может быть как постоянной ( ), так и зависящей от времени [ ]. В первом случае марковский случайный процесс с дискретными состояниями и непрерывным временем называется однородным. Типичный пример такого процесса - случайный процесс Х(t), представ­ляющий собой число появившихся до момента t событий в простейшем потоке ( рис. 5.2).

При рассмотрении случайных процессов с дискретными состояниями и непрерывным временем удобно представлять переходы системы S из состояния в состояние как происходящие под влиянием некоторых по­токов событий. При этом плотности вероятностей перехода получают смысл интенсивностей соответствующих потоков событий (как только происходит первое событие в потоке с интенсивностью , система из со­стояния Si скачком переходит в Sj). Если все эти потоки пуассоновские, то процесс, протекающий в системе S, будет мар­ковским.

Рассматривая марковские случайные процессы с дискретными со­стояниями и непрерывным временем, удобно пользоваться гра­фом состояний, на котором против каждой стрелки, ведущей из состоя­ния Si , в Sj проставлена интенсивность потока событий, переводящего систему по данной стрелке (рис.5.6). Такой граф состояний называ­ют размеченным.

Вероятность того, что система S, находящаяся в состоянии Si, за эле­ментарный промежуток времени ( ) перейдет в состояние Sj (эле­мент вероятности перехода из Si в Sj), есть вероятность того, что за это время dt появится хотя бы одно событие потока, переводящего систему S из Si в Sj. С точностью до бесконечно малых высших порядков эта вероятность равна .

Потоком вероятности перехода из состояния Si в Sj называется вели­чина (здесь интенсивность может быть как зависящей, так и не­зависящей от времени).

Рассмотрим случай, когда система S имеет конечное число состояний S1, S2,..., Sп. Для описания случайного процесса, протекающего в этой системе, применяются вероятности состояний

(5.13)

где рi (t) — вероятность того, что система S в момент t находится в состоя­нии Si:

. (5.14)

Очевидно, для любого t

. (5.15)

Для нахождения вероятностей (5.13) нужно решить систему диф­ференциальных уравнений (уравнений Колмогорова), имеющих вид

(i=1,2,…,n),

или, опуская аргумент t у переменных рi,

(i=1,2,…,n). (5.16)

Напомним, что интенсивности потоков ij могут зависеть от времени .

Уравнения (5.16) удобно составлять, пользуясь размеченным гра­фом состояний системы и следующим мнемоническим правилом: произ­водная вероятности каждого состояния равна сумме всех потоков веро­ятности, переводящих из других состояний в данное, минус сумма всех потоков вероятности, переводящих из данного состояния в другие. Напри­мер, для системы S, размеченный граф состояний которой дан на рис. 10.6, система уравнений Колмогорова имеет вид

(5.17)

Так как для любого t выполняется условие (5.15), можно любую из вероятностей (5.13) выразить через остальные и таким образом уменьшить число уравнений на одно.

Чтобы решить систему дифференциальных уравнений (5.16) для вероятностей состояний р1(t) p 2(t), …, pn(t), нужно задать начальное распределение вероятностей

p1(0),p2(0), …,pi(0), …,pn(0), (5.18)

сумма которых равна единице.

Если, в частности, в начальный момент t = 0 состояние системы S в точности известно, например, S(0) =Si , и рi (0) = 1, то остальные вероятноcти выражения (5.18) равны нулю.

Во многих случаях, когда процесс, протекающий в системе, длится достаточно долго, возникает вопрос о предельном поведении ве­роятностей рi(t) при . Если все потоки событий, переводящие систему из состояния в состояние, являются простейшими (т.е. стацио­нарными пуассоновскими с постоянными интенсивностями ), в неко­торых случаях существуют финальные(или предельные) вероятности со­стояний

, (5.19)

независящие от того, в каком состоянии система S находилась в началь­ный момент. Это означает, что с течением времени в системе S устанавли­вается предельный стационарный режим, в ходе которого она переходит из состояния в состояние, но вероятности состояний уже не меняются. В этом предельном режиме каждая финальная вероятность может быть истолкована как среднее относительное время пребывания системы в дан­ном состоянии.

Систему, в которой существуют финальные вероятности, называют эргодической. Если система S имеет конечное число состояний S1 , S2 , . . . , Sn, то для су­ществования финальных вероятностей достаточно, чтобы из любого со­стояния системы можно было (за какое-то число шагов) перейти в любое другое. Если число состояний S1 , S2 , . . . , Sn, бесконечно, то это условие перестает быть достаточным, и существование финальных вероятностей зависит не только от графа состояний, но и от интенсивностей .

Финальные вероятности состояний (если они существуют) могут быть получены решением системы линейных алгебраических уравнений, они получаются из дифференциальных уравнений Колмогорова, если по­ложить в них левые части (производные) равными нулю. Однако удобнее составлять эти уравнения непосредственно по графу состояний, пользу­ясь мнемоническим правилом: для каждого состояния суммарный выхо­дящий поток вероятности равен суммарному входящему. Например, для системы S, размеченный граф состояний которой дан на р ис. 5.7, уравнения для финальных вероятностей состояний имеют вид

(5.20)

Таким образом, получается (для системы S с п состояниями) система n однород­ных линейных алгебраических уравнений с n неизвест­ными р1, р2, ..., рп. Из этой системы можно найти неизвестные р1 , р2 , . . . , рп с точностью до произвольного множителя. Чтобы найти точные значения р1,..., рп, к уравнениям добавляют нормировочное условие p1 + p2+ …+ pп =1, пользуясь которым можно выразить любую из ве­роятностей pi через другие (и соответственно отбросить одно из уравне­ний).

Вопросы для повторения

1 Что называют случайной функцией, случайным процессом, сечением случайного процесса, его реализацией?

2 Как различаются случайные процессы по своей структуре и характеру протекания во времени?

3 Какие законы распределения случайной функции применяют для описания случайной функции?

4 Что представляет собой функция математического ожидания случайной функции, в чем ее геометрический смысл?

5 Что представляет собой функция дисперсии случайной функции, в чем ее геометрический смысл?

6 Что представляет собой корреляционная функция случайного процесса, и что она характеризует?

7 Каковы свойства корреляционной функции случайного процесса?

8 Для чего введено понятие нормированной корреляционной функции?

9 Объясните как по опытным данным получить оценки функций характеристик случайного процесса?

10 В чем отличие взаимной корреляционной функции от автокорреляционной функции?

11 Какой случайный процесс относят к стационарным процессам в узком смысле и в широком?

12 В чем заключается свойство эргодичности стационарного случайного процесса?

13 Что понимают под спектральным разложением стационарного случайного процесса и в чем его необходимость?

14 Какова связь между корреляционной функцией и спектральной плотностью стационарной случайной функции?

15 Что называют простейшим потоком событий?

16 Какой случайный процесс называют марковской цепью? В чем заключается методика расчета ее состояний?

17 Что представляет собой марковский случайный процесс с дискретными состояниями и непрерывным временем?

Упражнения

6.1 Случайная функция , где U – случайная величина, возможные значения которой принадлежат интервалу (0,10). Найти реализации функции X(t) в двух испытаниях, в которых величина U приняла значения: .

6.2 Случайная функция , где U – случайная величина. Найти сечения X(t), соответствующие фиксированным значениям аргумента: .

6.3 Найти математическое ожидание случайной функции: , где U и V – случайные величины, причем M(U)=M(V)=1.

6.4 Найти: а) математическое ожидание; б) корреляционную функцию; в) дисперсию случайной функции , где U – случайная величина, причем M(U)=10, D(U)=0.2.

6.5 Найти нормированную взаимную корреляционную функцию случайных функций X(t)=t*U и Y(t)=(t+1)U, где U – случайная величина, причем дисперсия D(U)=10.

Предыдущая123456789Следующая

Дата добавления: 2016-04-19; просмотров: 2361; ЗАКАЗАТЬ НАПИСАНИЕ РАБОТЫ

ПОСМОТРЕТЬ ЕЩЕ:

helpiks.org


Смотрите также

Календарь

ПНВТСРЧТПТСБВС
     12
3456789
10111213141516
17181920212223
24252627282930
31      

Мы в Соцсетях

 

vklog square facebook 512 twitter icon Livejournal icon
square linkedin 512 20150213095025Одноклассники Blogger.svg rfgoogle