梁斌 作品数:5 被引量:246 H指数:4 供职机构: 苏州大学计算机科学与技术学院 更多>> 发文基金: 国家自然科学基金 江苏省高校自然科学研究项目 江苏省自然科学基金 更多>> 相关领域: 自动化与计算机技术 更多>>
一种用于基于方面情感分析的深度分层网络模型 被引量:47 2018年 近年来,基于方面情感分析已成为自然语言处理领域的研究热点之一.结合注意力机制的深度网络模型在基于方面情感分析任务中取得了令人瞩目的成功,针对以独立句子作为网络模型输入的方法无法获取句子间相互关系,以及仅使用词语层注意力机制难以充分获取同一评论中句子间的相互联系等问题,提出一种结合区域卷积神经网络和分层长短期记忆网络(Regional Convolutional Neural Network-Hierarchical Long Short-Term Memory,RCNN-HLSTM)的深度分层网络模型用在基于方面情感分析任务中.该模型通过区域CNN既可以保留不同句子在评论中的时序关系也可以大大降低仅使用LSTM网络的时间代价.此外,该模型利用一个分层LSTM网络来获取待分类句子内部词语之间的相互联系,以及待分类句子和评论中其他句子之间的情感特征信息.通过词语层和句子层注意力机制能有效获取特定方面在句子中的局部特征和整个评论中的长距离依赖关系,弥补了仅使用词语层注意力机制的不足.最后在多种语言的不同领域数据集上进行实验,取得了比传统的深度网络模型、结合注意力机制的深度网络模型以及考虑句子间关系的双向分层LSTM网络模型更好的分类效果. 刘全 梁斌 梁斌 徐进关键词:循环神经网络 卷积神经网络 基于多重门限机制的异步深度强化学习 被引量:1 2019年 近年来,深度强化学习已经成为人工智能领域一个新的研究热点.深度强化学习在如Atari 2600游戏等高维度大状态空间任务中取得了令人瞩目的成功,但仍存在训练时间太长等问题.虽然异步深度强化学习通过利用多线程技术大幅度减少了深度强化学习模型所需的训练时间,但是,基于循环神经网络的异步深度强化学习算法依然需要大量训练时间,原因在于具有记忆能力的循环神经网络无法利用并行化计算加速模型训练过程.为了加速异步深度强化学习模型的训练过程,并且使得网络模型具有记忆能力,该文提出了一种基于多重门限机制的异步优势行动者-评论家算法.该模型主要有三个特点:一是通过使用多重门限机制使前馈神经网络具有记忆能力,使Agent能够通过记忆不同时间步的状态信息做出更优的决策;二是通过利用并行计算进一步加速Agent的训练过程,减少模型所需的训练时间;三是通过采用一种新的跳跃连接方式实现数据向更深的网络层传递,增强模型识别状态特征的能力,从而提升深度强化学习算法的稳定性和学习效果.该文通过Atari 2600游戏平台上的部分战略型游戏以及稀疏奖赏环境型游戏来评估新模型的性能.实验结果表明,与传统的异步深度强化学习算法相比,新模型能够以较少的时间代价来获得更优的学习效果. 徐进 刘全 章宗长 章宗长 周倩关键词:循环神经网络 一种自适应的多臂赌博机算法 被引量:8 2019年 多臂赌博机问题是强化学习中研究探索和利用两者平衡的经典问题,其中,随机多臂赌博机问题是最经典的一类多臂赌博机问题,是众多新型多臂赌博机问题的基础.针对现有多臂赌博机算法未能充分使用环境反馈信息以及泛化能力较弱的问题,提出一种自适应的多臂赌博机算法.该算法利用当前估计值最小的动作被选择的次数来调整探索和利用的概率(chosen number of arm with minimal estimation, CNAME),有效缓解了探索和利用不平衡的问题.同时,该算法不依赖于上下文信息,在不同场景的多臂赌博机问题中有更好的泛化能力.通过理论分析给出了该算法的悔值(regret)上界,并通过不同场景的实验结果表明:CNAME算法可以高效地获得较高的奖赏和较低的悔值,并且具有更好的泛化能力. 章晓芳 周倩 周倩 梁斌关键词:自适应 上下文相关 基于多注意力卷积神经网络的特定目标情感分析 被引量:135 2017年 特定目标情感分析作为情感分析一个重要的子任务,近年来得到越来越多研究人员的关注.针对在特定目标情感分析中,将注意力机制和LSTM等序列性输入网络相结合的网络模型训练时间长、且无法对文本进行平行化输入等问题,提出一种基于多注意力卷积神经网络(multi-attention convolution neural networks,MATT-CNN)的特定目标情感分析方法.相比基于注意力机制的LSTM网络,该方法可以接收平行化输入的文本信息,大大降低了网络模型的训练时间.同时,该方法通过结合多种注意力机制有效弥补了仅仅依赖内容层面注意力机制的不足,使模型在不需要例如依存句法分析等外部知识的情况下,获取更深层次的情感特征信息,有效识别不同目标的情感极性.最后在SemEval2014数据集和汽车领域数据集(automotive-domain data,ADD)进行实验,取得了比普通卷积神经网络、基于单注意力机制的卷积神经网络和基于注意力机制的LSTM网络更好的效果. 梁斌 刘全 徐进 周倩 章鹏关键词:卷积神经网络 自然语言处理 基于多通道卷积神经网络的中文微博情感分析 被引量:75 2018年 近年来,深度学习在情感分析任务中的应用得到了越来越多的关注.针对以文本词向量作为输入的卷积神经网络无法充分利用情感分析任务中特有的情感特征信息,以及难以有效表示每个词语在句子中的重要程度等问题,提出一种基于多通道卷积神经网络(multi-channels convolutional neural networks,MCCNN)的中文微博情感分析模型.该模型针对情感分析任务中特有的情感信息来构建文本输入矩阵,使模型在训练过程中有效获取输入句子的情感特征信息.同时,该模型通过将不同特征信息结合形成不同的网络输入通道,使网络模型在训练过程中从多方面的特征表示来学习输入句子的情感信息,有效表示出每个词语在句子中的重要程度,获取更多的隐藏信息.最后在COAE2014数据集和微博语料数据上进行实验,取得了比普通卷积神经网络、结合情感信息的卷积神经网络和传统分类器更好的性能. 陈珂 梁斌 柯文德 许波 曾国超关键词:情感分析 卷积神经网络 多通道 自然语言处理