马尔可夫链的一些基础知识

资源

• [百度百科]](https://baike.baidu.com/item/%E9%A9%AC%E5%B0%94%E5%8F%AF%E5%A4%AB%E9%93%BE/6171383?fromtitle=%E9%A9%AC%E5%B0%94%E7%A7%91%E5%A4%AB%E9%93%BE&fromid=4688932&fr=aladdin)
• 知乎
• 其他

介绍

• 马尔科夫链是一个随机过程，未来的状态只与当前的状态有关，与之前的状态无关。
• 马尔科夫链中随机变量的状态随时间步的变化称为演变或转移（通过转移矩阵或转移图）。
• n阶马尔科夫链，其转移矩阵是其所有转移矩阵的连续矩阵乘法。

疑问

• 转移矩阵最后一列的状态是什么，就是最后一个状态吗？
• 转移矩阵的第一列元素是当前状态？