步紧逼的追赶者(下) 步紧逼的追赶者(下)
哈雷·普莱斯听了埃克莱尔·基尔卡加这话，也不住点头。
因为埃克莱尔·基尔卡加说得确实是很有道理。
相比于无私奉献披荆斩棘的前辈，同时代的科研工作者可没那么多热心肠。
有的时候同一个国家不同的科研团队之间出于经济利益、荣誉之类的等等因素都常常会互相挖坑。
更不要说LIN HUI这样一个异国他乡的科研工作者了。
凭什么一厢情愿地相信LIN HUI所阐述的线索就一定是正确的呢？
哈雷·普莱斯觉得LIN HUI即便留下的线索是正确的，也未必都是捷径。
甚至于有的完全是弯路。
这种情况下还是自己思考得出的东西要更靠谱一些。
只听埃克莱尔·基尔卡加接着道：“按照以往我们的研究得到的规律。
神经网络的前一个输入和后一个输入是没有关系的。
没办法处理序列数据这种前后输入是有关联信息的数据。
而LIN HUI在生成式摘要算法中提到的技术路线里面明确表示了要将文本信息通过向量来实现序列化标记之后再进一步处理。
在这种情况下，我觉得LIN HUI所提出的算法里面应用的绝对不是一般的神经网络。
LIN HUI在生成式摘要算法中应用的大概率是循环神经网络。
毕竟循环神经网路的结构非常适合用于处理序列信息。”
埃克莱尔·基尔卡加的话让哈雷·普莱斯眼前一亮，不过旋即新的疑惑也随之产生。
哈雷·普莱斯问道：“循环神经网络不仅要输入当前序列的数据。
还要输入上一时刻循环神经网络隐藏层参数的信息。
这样才能很好地处理序列之间的关联信息。
可是给我的感觉是LIN HUI算法中应用的那个神经网络虽然有循环神经网络的影子。
但是似乎又和传统的循环神经网络有些不一样啊？”
埃克莱尔·基尔卡加嘀咕道：“确实如此，一般的循环神经网络适合处理序列结构，但是却不擅长处理长序列结构……”
沉吟之际，埃克莱尔·基尔卡加突然想到了什么，呼喊道：
“我知道了，一定是LSTM神经网络！”
哈雷·普莱斯被埃克莱尔·基尔卡加突然的呼喊吓了一跳。
不过埃克莱尔·基尔卡加提到的LSTM神经网络却也让他眼前一亮。
哈雷·普莱斯知道埃克莱尔·基尔卡加所说的LSTM神经网络。
LSTM神经网络更确切的称呼应该叫做“长短期记忆神经网络”。
这是一种特殊的循环神经网络。
相比普通的循环神经网路，长短期记忆神经网络在应用中对间隙长度不敏感。
这是长短期记忆神经网络的一个优势，使得其能够在处理更长的序列中有不错的表现。
哈雷·普雷斯仔细回想LIN HUI在技术路线中所描述算法特征以及南风APP这款软件的实际表现。
LIN HUI在生成式摘要算法中提到的技术路线里面明确表示了要将文本信息通过向量来实现序列化标记之后再进一步处理。
而长短期记忆神经网络恰好可以处理长序列文本。
LIN HUI鼓捣的算法在处理文本摘要时具有极高的准确性。
而长短期记忆神经网络在处理实际问题的时候一大特点就是具有颇高的准确性。
LIN HUI依托于生成式摘要算法鼓捣出来的南风APP一次只能处理一条新闻摘要。
而长短期记忆神经网络的缺点就是结构较为复杂，并行处理上存在劣势。
如果LIN HUI的算法只是一个方面和长短期记忆神经网络特性比较吻合。
哈雷·普莱斯或许会以为只是个巧合。
但现在，三个小概率事件凑到一块。
哈雷·普莱斯觉得并不是简单的巧合。
他越发感觉埃克莱尔·基尔卡加的推断是正确的，不由得感慨道：
“我说为什么LIN HUI算法中应用的那个神经网络有循环神经网络的影子但又和传统的循环神经网络有些不一样呢，原来用的居然是长短期记忆神经网络。
埃克莱尔·基尔卡加还真有你的！居然能想到这个这个方向。
说实话，我一开始虽然觉得LIN HUI算法中应用的神经网络特性有点怪异。
但是还真没往长短期记忆神经网络那个方向想……”
埃克莱尔·基尔卡加能理解哈雷·普莱斯为什么没在第一时间想到长短期记忆神经网络。
近几年长短期记忆神经网络主要都是用于语音识别方面的原因。
现在这个阶段一般的研究学者还真不会想到会将长短期记忆神经网络用在文本摘要这方面。
不过理论上讲将长短期记忆神经网络神经网路用于文本识别方面完全是可行的。
但具体如何将长短期记忆神经网络应用于文本识别，暂时埃克莱尔·基尔卡加也不太清楚。
这个还需要一段时间的研究来探索。 哈雷·普莱斯没有想到长短期记忆神经网络神经网路应该还有另一方面的原因。
因为长短期记忆神经网络并不是什么新鲜玩意。
Hochreiter和Schmidhuber于1997年提出了长短期记忆神经网络。
距今天已经将近二十年了，可以说是很久远了。
虽然长短期记忆神经网络在处理长序列文本的时候可能会有一定的优势。
但实际上当初提出长短期记忆神经网络并不是为了文本处理。
当时之所以提出长短期记忆神经网络神经网路是为了处理训练传统循环神经网路时可能遇到的梯度消失和梯度爆炸问题。
在机器学习中，用基于梯度的学习方法和反向传播训练人工神经网络时。
有时会遇到梯度消失和梯度爆炸的问题。
这两种情况都不是研究人员希望看到的情况。
出现梯度消失或梯度爆炸后，原本的深度学习根本深不起来，只能说是浅度学习。
个别极端情况，别说浅度学习了，连最起码的机器学习都做不到。
总而言之，梯度消失和梯度爆炸问题会极大地降低利用神经网络的深度学习的训练效率。
梯度消失和梯度爆炸问题也是一个极其难缠的问题。
和神经网络有关的研究人员在1991年就注意到梯度消失和梯度爆炸现象。
该问题在长短期记忆神经网络出现后得到一定的缓解。
但还是没有彻底解决梯度消失和梯度爆炸问题。
除了利用长短期记忆神经网络之外，其他的几种处理梯度消失和梯度爆炸的问题的方式（比如说多级层次结构、利用更快的硬件、利用其他的激活函数等等。）也各有各的局限性。
总之梯度消失和梯度爆炸问题但还没有被彻底解决。
到今天梯度消失和梯度爆炸问题已然成为了机器学习上空中一朵乌云。
这个问题已然严重制约机器学习向前发展。
心念及此，埃克莱尔·基尔卡加不免有些感慨。
也不知道这个问题什么时候会被什么人彻底解决？？？
埃克莱尔·基尔卡加突然感觉他对LIN HUI算法这么较真也没什么必要啊？
诸如梯度消失和梯度爆炸现象这问题都二十多年了还没彻底解决。
不也没什么人着急吗？至少看起来没啥人着急？
自己为什么要为要跟LIN HUI这么一个算法较劲呢？
埃克莱尔·基尔卡加突然有些疲乏感。
不过面对兴冲冲的同事，埃克莱尔·基尔卡加还不至于打退堂鼓。
埃克莱尔·基尔卡加：“我现在还不能够肯定LIN HUI算法中用的就是长短期记忆神经网络。
只能说LIN HUI算法中所采用的神经网络的特征有点类似于长短期记忆神经网络。
至于到底是不是还有待验证。
说起来那些高层跟麻省理工学院自然语言处理文本摘要研究小组那边闹得不欢而散还真是个损失。
据我了解伊芙·卡莉他们在研究抽取式文本摘要算法的时候就用到了循环神经网络了。
只不过他们用的具体是哪种循环神经网络暂时还不清楚。
不过不管怎么说，我觉得能有麻省理工学院那边的帮助的话对我们来说将会助力不小。”
哈雷·普莱斯：“这倒是个问题，不过问题不大。
m国最不缺的就是研究机构。
我前段时间听尼克那家伙说普林斯顿大学的朱尔斯教授正在搞一个循环神经网络的项目。
或许我们可以跟普林斯顿大学展开合作？”
埃克莱尔·基尔卡加：“呃，你确定要跟普林斯顿那些傲慢的数学佬打交道？
他们看我们的就跟我们看那些文科生的一样？
还有如果我们和他们合作的话，究竟是以谁为主导？研究出来的成果又怎么划分？”
哈雷·普莱斯：“他们怎么看我们无所谓。
一群搞数学的现在搞循环神经网络，谁更占优势还不一定呢？
至于谁主导到时候再说吧，一切达者为尊。”
埃克莱尔·基尔卡加：“那你去联系吧，反正我是懒得跟朱尔斯那个老秃驴洽谈。”
哈雷·普莱斯：“呃，其实我也不想去跟朱尔斯联系……”
埃克莱尔·基尔卡加：“那你还提这个馊主意？”
哈雷·普莱斯坏坏地道：“或许我们可以叫阿西莱·维拉斯克斯去，谁叫他卖专利给那个LIN HUI……”
埃克莱尔·基尔卡加：“这是个好主意！”