深度学习技术发展趋势浅析

时间:2019-07-12 来源:www.goodcausecharity.com

龙8老虎机

深度学习技术发展趋势分析

4801c84b15914b2a8a433fa0dc8a8f54.jpeg

目前,通过深度学习技术的突破,人工智能的发展得到了充分的关注和推动。各国政府都高度重视,资本热潮仍然超重。各界人士就其发展热点已达成共识。本文的目的是分析深度学习技术的现状,研究深度学习的发展趋势,并提出我国技术水平的发展建议。

一,深度学习技术的现状

深度学习是本轮人工智能爆炸的关键技术。人工智能技术在计算机视觉和自然语言处理领域取得的突破,带来了新一轮的爆炸式发展。深度学习是实现这些突破的关键技术。其中,基于深度卷积网络的图像分类技术已经超出了人眼的准确性。基于深度神经网络的语音识别技术已达到95%的准确率。基于深度神经网络的机器翻译技术接近人类的平均翻译水平。准确性的急剧提高使计算机视觉和自然语言处理进入了工业化阶段,带来了新兴产业的兴起。

深度学习是大数据时代的算法工具,近年来已成为研究的热点。与传统的机器学习算法相比,深度学习技术有两个优点。首先,随着数据规模的增加,深度学习技术可以不断提高其性能,而传统的机器学习算法难以使用海量数据来不断提高其性能。其次,深度学习技术可以直接从数据中提取特征,减少了为每个问题设计特征提取器的工作,而传统的机器学习算法需要手动提取特征。因此,深度学习已经成为大数据时代的热门技术。学术界和工业界对深度学习进行了大量的研究和实践。

深入学习各种模型,充分发挥基本应用的作用。卷积神经网络和递归神经网络是两种广泛使用的深度神经网络模型。计算机视觉和自然语言处理是人工智能的两个基本应用。卷积神经网络广泛应用于计算机视觉领域,其在图像分类,目标检测,语义分割等任务中的表现远远超过传统方法。循环神经网络适用于解决与序列信息相关的问题,并且已广泛用于自然语言处理领域,例如语音识别,机器翻译和对话系统。

深度学习技术仍然不完善,需要进一步完善。首先,深度神经网络的模型非常复杂,并且巨大的参数导致模型尺寸大并且难以部署到移动终端。其次,模型训练所需的数据量很大,而训练数据样本的获取和标记成本很高,一些场景样本很难获得。第三,应用门限高,算法建模和参数调整过程复杂繁琐,算法设计周期长,系统实现和维护困难。第四,缺乏因果推理能力,图灵奖获得者,贝叶斯网络之父朱迪亚珍珠指出,目前的深度学习只是一种“曲线拟合”。第五,存在可解释性问题。由于内部参数共享和复杂的特征提取和组合,很难解释模型学到了什么,但为了安全性和道德和法律需求,算法的可解释性是非常必要的。因此,深度学习仍然需要解决上述问题。

二,深度学习发展的趋势

深度神经网络呈现出越来越深的层次和越来越复杂的结构的趋势。为了不断提高深度神经网络的性能,业界不断探索网络深度和网络结构。神经网络的层数已经扩展到数百甚至数千层。随着网络层数的不断加深,学习效果越来越好。 2015年,微软在图像分类任务中提出了152层网络深度的ResNet。准确率首次超过了人眼。不断提出新的网络设计结构,使得神经网络的结构越来越复杂。例如,2014年,Google提出了Inception网络结构。 2015年,微软提出了剩余网络结构。 2016年,黄高提出了一个密集连接的网络结构。这些网络结构设计不断改进深度神经网络的性能。

深度神经网络节点不断丰富。为了克服当前神经网络的局限性,业界已经探索并提出了一种新型的神经网络节点,使神经网络的功能越来越丰富。 2017年,Jeffrey Sinton提出了胶囊网络的概念,使用胶囊作为网络节点,理论上更接近人脑的行为,旨在克服卷积神经网络的局限性,而无需空间分层和推理能力。在2018年,DeepMind,Google Brain和麻省理工学院的学者联合提出了图形网络的概念,定义了一类具有关系归纳偏差函数的新模块,旨在使深度学习能够引起因果推理。

深度神经网络工程应用技术不断深化。大多数深度神经网络模型具有数亿个参数和数百兆字节的空间。它们计算密集,难以部署到性能和资源有限的终端设备,如智能手机,相机和可穿戴设备。为了解决这个问题,业界使用模型压缩技术来减少模型参数的数量和大小,并减少计算量。当前的模型压缩方法包括修剪(例如修剪,重量分配和量化)以及在训练模型上设计更精细的模型(例如MobileNet等)。深度学习算法建模和调优过程繁琐且应用门槛较高。为了降低深度学习的应用门槛,业界提出了自动机器学习(AutoML)技术,可以实现深度神经网络的自动设计,简化使用过程。

深度学习和多种机器学习技术的持续集成。深度学习和强化学习相结合的深度学习和深度学习学习技术结合了深度学习的认知能力和强化学习的决策能力。它克服了强化学习仅适用于离散和低维状态的问题,这些状态可以直接来自高维原语。数据学习控制策略。为了减少深度神经网络模型培训所需的数据量,业界引入了迁移学习的思想,这导致了深度迁移学习技术的发展。迁移学习是指使用在旧领域中学习的模型,在新领域的学习过程中,使用数据,任务或模型之间的相似性。通过将训练的模型迁移到类似的场景,可以实现少量的训练数据以获得更好的结果。

第三,未来的发展建议

加强对图形网络,深度强化学习和生成对抗网络等尖端技术的研究。由于深度学习领域缺乏重要的原创性研究成果,基础理论研究的贡献不足。胶囊网络和图形网络等创新和原创概念是由美国专家提出的,中国的研究贡献不足。在深度强化学习方面,大多数最新研究成果都是由DeepMind和OpenAI等外国公司的研究人员提出的。中国没有突破性的研究成果。近年来,研究热点生成对抗网络(GAN)由美国研究员Goodfellow提出,Google,facebook,twitter和Apple等公司提出了各种改进和应用模型,极大地促进了GAN技术的发展。但是,中国在这方面的研究成果很少。因此,应鼓励研究机构和企业加强对深度神经网络和因果推理模型整合,生成对抗网络和深度强化学习等前沿技术的研究,提出更多原创性研究成果,以提高全球学术界的影响力。研究。

加速深度学习应用技术的研究,如自动机器学习和模型压缩。依托国内市场优势和企业的增长优势,加快了对具有中国特色的个性化应用需求的深度学习应用技术的研究。加强对自动化机器学习和模型压缩等技术的研究,加快深度学习工程的应用。加强深度学习在计算机视觉领域的应用,进一步提高目标识别等视觉任务的准确性,以及在实际应用场景中的表现。加强深度学习在自然语言处理领域的应用,提出更好的性能算法模型,提高机器翻译和对话系统等应用的性能。

CAICT,中国信息通信研究院

转自:陆军鹰信息

C2

,了解更多