前向后向

前向算法

假设 $l$ 为原始的标注序列，现针对 $l$ 进行如下修改：

• 开头和结尾各插入一个blank

• 每两个字母之间（此处不用考虑是否为重复字母）也插入一个blank

将修改后的序列标记为 $l'$ ，显然 $l'$ 的长度为 $2|l|+1$ ；反过来， $|l|=\frac{|l'|}{2}$ ，且 $l$ 与 $l'$ 是一对一的关系，例如 $l=Mary$ 则 $l' = \_M\_a\_r\_y\_$ 。

CTC针对 $l'$ 的前缀计算路径的概率，既允许blank和非blank之间的转换，也允许相邻的不同之母之间的变化。对于一个标注序列 $l$ ，我们定义前向变量 $\alpha_t(s)$ 为满足以下条件的所有路径 $\pi_{1:t}$ 的概率之和：

$\mathcal{B}(\pi_{1:t})=l_{1:s/2}$ 且 $\pi_t=l'_s$

根据前面的定义可知， $l'$ 的奇数位均为blank，偶数位均为 $l$ 中对应字母 $l_{s/2}$ ，注意这里 $s$ 从 $1$ 开始。比如， $l=Mary$ 时， $l'=\_M\_a\_r\_y$ ，那么 $l'_{1:3}=\_M\_$ ， $l_{1:3/2}=M$ ； $l'_{1:4}=\_M\_a$ ， $l_{1:4/2}=Ma$ 。

后向算法