2019年4月17日12:40,在工B308办公室,bwin必赢唯一官方网站高铭悦老师作了“循环神经网络(RNN)”的学术报告,bwin必赢唯一官方网站青年教师和部分学生聆听此次报告。
高铭悦老师首先介绍了循环神经网络的相关应用场景,比如能写论文,写程序,能作曲等;其次介绍循环神经网络是怎么来的,之前介绍的BP神经网络与CNN的输入输出相互独立,但是一个句子的前后单词并不独立,RNN可将图片或者声音转化成相互依赖的序列数据,即一个序列当前的输出和前面的输出也有关;紧接着介绍RNN的基本原理和网络结构,指出它的局限性,在于激活函数的选取,其中sigmoid、tanh函数会引发梯度消失和梯度爆炸问题,并介绍有关的改进网络,比如可以学习长期依赖信息的长短期记忆网络(LSTM),它增加了三个门和一个候选记忆细胞,能够筛选信息,只选取需要记忆的信息进行保留,不但解决了梯度问题,还可以对棘手的长序列进行处理;最后高铭悦老师介绍了一些其他LSTM变体以及关于RNN的小项目。
本次学术报告介绍RNN的相关知识,引发了大家对RNN的兴趣,进一步拓展了深度学习方面的知识,开阔了大家的视野,为以后的科研提供了基础。