Марковский случайный процесс - для любого момента времени t₀ вероятностные характеристики процесса в будущем зависят только от его состояния в данный момент t₀ и не зависят от того, когда и как система пришла в это состояние (предыстории процесса).
Пусть в настоящий момент t₀ система находится в определенном состоянии S₀.
Типовая постановка задачи: Предсказать будущее состояние системы при t > t₀ на уровне вероятности того, что через некоторое время τ система S окажется в состоянии S₁ или останется в состоянии S₀ и т.д.
Пример марковского процесса. Система S – группа самолетов, участвующих в воздушном бою. Пусть x – количество самолетов X, y – самолетов Y. К моменту времени t₀ количество сохранившихся (не сбитых) самолетов, соответственно, x₀, y₀. Нас интересует вероятность того, что в момент времени t0+τ численный перевес будет на стороне X. Здесь эта вероятность зависит от того, в каком состоянии находилась система в момент времени t₀, и не зависит от того, когда и в какой последовательности погибали сбитые до момента t₀ самолеты.