您当前的位置：全讯官网-0008全讯注册>>智伴机器人新闻>>媒体报道
- 来源：ofweek人工智能
- 作者：ai优化生活
- 发布时间：2018-05-11
- 968次浏览
通过上一篇文章《人工智能之深度学习》，我们清楚地知道深度学习（dl）的概念源于人工神经网络ann（artificial neural network）。人工神经网络ann是20世纪80 年代以来人工智能领域兴起的研究热点。人工神经网络ann
通过上一篇文章《人工智能之深度学习》，我们清楚地知道深度学习（dl）的概念源于人工神经网络ann（artificial neural network）。人工神经网络ann是20世纪80 年代以来人工智能领域兴起的研究热点。
人工神经网络ann简称为神经网络或类神经网络。深度学习实际上是深度神经网络dnn,即深度学习从人工神经网络ann模型发展起来的，因此有必要对人工神经网络ann作进一步探讨。
最近十几年来，人工神经网络ann的研究工作不断深入，已经取得了很大进展，其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。
那么究竟什么是人工神经网络ann呢?
人工神经网络ann从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。人工神经网络ann是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点（神经元）代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。
人工神经网络ann的发展历程：
1） 人工神经网络ann的概念由w.s.mcculloch和w.pitts等人于1943年提出。他们通过mp模型提出了神经元的形式化数学描述和网络结构方法。
2） 1960s年，人工神经网络得到了进一步发展，更完善的神经网络模型被提出，其中包括感知器和自适应线性元件等。1982年， j.j.hopfield提出了hopfield神经网格模型，引入“计算能量”概念，给出了网络稳定性判断。 1984年，他又提出了连续时间hopfield神经网络模型，开创了神经网络用于联想记忆和优化计算的新途径。这项开拓性的研究工作有力地推动了神经网络的研究。
3） 1985年，有学者提出了波耳兹曼模型，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点。
4） 1986年进行认知微观结构地研究，提出了并行分布处理的理论。
5） 1986年，rumelhart, hinton, williams发展了bp算法。迄今，bp算法已被用于解决大量实际问题。
6） 1988年，linsker对感知机网络提出了新的自组织理论，并在shanon信息论的基础上形成了最大互信息理论，从而点燃了基于nn的信息应用理论的光芒。
7） 1988年，broomhead和lowe用径向基函数(radial basis function, rbf)提出分层网络的设计方法，从而将nn的设计与数值分析和线性适应滤波相挂钩。
8） 90年代初，vapnik等提出了支持向量机(support vector machines, svm)和vc(vapnik-chervonenkis)维数的概念。
9） 美国国会通过决议将1990年1月5日开始的十年定为“脑的十年”，国际研究组织号召它的成员国将“脑的十年”变为全球行为。在日本的“真实世界计算（rwc）”项目中，人工智能的研究成了一个重要的组成部分。人工神经网络的研究从此受到了各个发达国家的重视。
人工神经网络特征：
人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。人工神经网络具有四个基本特征：
（1）非线性：人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。
（2）非局限性：一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。
（3）非常定性：人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。采用迭代过程描写动力系统的演化过程。
（4）非凸性：一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。
人工神经网络模型：
人工神经网络模型主要考虑网络连接的拓扑结构、神经元的特征、学习规则等。目前，已有近40种神经网络模型，其中有反传网络、感知器、自组织映射、hopfield网络、波耳兹曼机、适应谐振理论等。根据连接的拓扑结构，神经网络模型可以分为：
1）前向网络
网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示。这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单，易于实现。反传网络是一种典型的前向网络。
2）反馈网络
网络内神经元间有反馈，可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换，可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。hopfield网络、波耳兹曼机均属于反馈网络类型。
人工神经网络学习类型：
学习是神经网络研究的一个重要内容，它的适应性是通过学习实现的。根据环境的变化，对权值进行调整，改善系统的行为。根据学习环境不同，神经网络的学习方式可分为监督学习和非监督学习。
1）在监督学习时，将训练样本的数据加到网络输入端，同时将相应的期望输出与网络输出相比较，得到误差信号，以此控制权值连接强度的调整，经多次训练后收敛到一个确定的权值。当样本情况发生变化时，经学习可以修改权值以适应新的环境。使用监督学习的神经网络模型有反传网络、感知器等。
2）非监督学习时，事先不给定标准样本，直接将网络置于环境之中，学习阶段与工作阶段成为一体。此时，学习规律的变化服从连接权值的演变方程。非监督学习最简单的例子是hebb学习规则。竞争学习规则是一个更复杂的非监督学习的例子，它是根据已建立的聚类进行权值调整。自组织映射、适应谐振理论网络等都是与竞争学习有关的典型模型。
有效的学习算法，使得神经网络能够通过连接权值的调整，构造客观世界的内在表示，形成具有特色的信息处理方法，信息存储和处理体现在网络的连接中。
人工神经网络分析方法：
研究神经网络的非线性动力学性质，主要采用动力学系统理论、非线性规划理论和统计理论，来分析神经网络的演化过程和吸引子的性质，探索神经网络的协同行为和集体计算功能，了解神经信息处理机制。为了探讨神经网络在整体性和模糊性方面处理信息的可能，混沌理论的概念和方法将会发挥作用。
人工神经网络的特点如下：
1） 具有自学习功能。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。
2） 具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。
3） 具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。
人工神经网络研究方向：
人工神经网络的研究可以分为理论研究和应用研究两大方面。
1）理论研究可分为以下两类：
a）利用神经生理与认知科学研究人类思维以及智能机理。
b）利用神经基础理论的研究成果，用数理方法探索功能更加完善、性能更加优越的神经网络模型，深入研究网络算法和性能，如：稳定性、收敛性、容错性、鲁棒性等；开发新的网络数理理论，如：神经网络动力学、非线性神经场等。
2）应用研究可分为以下两类：
a)神经网络的软件模拟和硬件实现的研究。
b)神经网络在各个领域中应用的研究。这些领域主要包括：模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等。随着神经网络理论本身以及相关理论、相关技术的不断发展，神经网络的应用定将更加深入。
人工神经网络发展趋势：
人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。将信息几何应用于人工神经网络的研究，为人工神经网络的理论研究开辟了新的途径。神经计算机的研究发展很快，已有产品进入市场。光电结合的神经计算机为人工神经网络的发展提供了良好条件。具有分布存储、并行处理、自学习、自组织以及非线性映射等优点的神经网络与其他技术的结合以及由此而来的混合方法和混合系统，已经成为一大研究热点。另外还有神经网络与模糊逻辑、专家系统、遗传算法、小波分析、混沌、粗集理论、分形理论、证据理论和灰色系统等的融合。
虽然人工神经网络已经取得了一定的进步，但是还存在许多缺陷，比如：应用面不够宽阔、结果不够精确；现有模型算法的训练速度不够高；算法的集成度不够高；人们希望在理论上寻找新的突破点，建立新的通用模型和算法。需进一步对生物神经元系统进行研究，不断丰富人们对人脑神经的认识。
结语:
人工神经网络ann是深度学习dl的基础。人工神经网络的种类多种多样，但其分类依据逃不出三个基本点：神经元模型，神经网络结构和学习算法。人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。人工神经网络与模糊系统、遗传算法、进化机制等相结合，成为人工智能的一个重要方向。当然，人工神经网络还存在许多缺陷，人们希望寻找新的突破点，推动人工智能技术不断向前发展。
