Table of Contents

• 一. 马尔科夫其人
• 二. 随机过程
• 三. 马尔科夫链
• 3.1 马尔科夫链概述
• 3.2 随机游动
• 四. 马尔科夫链应用

一. 马尔科夫其人

二. 随机过程

三. 马尔科夫链

3.1 马尔科夫链概述

马尔科夫链 当前的状态只取决于上一个状态，不取决于以前的状态。

左边:
红绿灯的转变
红灯->红-黄灯 -> 绿灯 ->黄灯
然后黄灯->红灯

这个链条比较清晰，每一个状态到下一个状态是已知的。

右边:
天气的转变过程
晴天->晴天
晴天->下雨
晴天->多云
下雨->晴天
下雨->下雨
下雨->多云
多云->晴天
多云->下雨
多云->多云

每一种状态到另外一种状态都是未知的，但是各个离散型值的概率是有分布的，这种就是离散的马尔科夫链。

3.2 随机游动

求多步转移概率:

遍历性:

四. 马尔科夫链应用

首先每个网页都有引用其它的网页，如果网页被引用的次数多，该网页的排名就相对而言高。
当然，即便网页被引用，但是用户打开该网页后，打开引用网页的概率是多少了? 如果用户直接留在了本网页，不去打开应用网页呢?
于是就引入了一个概率，用户打开网页后打开引用网页的概率。
如果网页被引用的次数多，且通过其它网页打开本网页的概率高，该网页的排名就高。

当然网页数量巨大，所以也就步入了大数据时代，MapReduce算法。