最优化理论英文缩写

人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

1956年由约翰·麦卡锡首次提出，当时定义为：制造智能机器的科学与工程。

什么是人工智能：

让机器达到同样的行为，即与人类做同样的行为 --约翰麦卡锡 1956

像人一样合理的思考，像人一样合理的行动 --斯图尔特 J 罗素

采用人工方法制造的，具有智能的实体，或其研究领域 --中岛秀之

人工智能应用：

精准推荐、语音助手、智慧城市、智慧园区、智能家居、数字政务、智能音箱、图像识别、语音识别、人脸识别 。。。

人工智能三次高潮两次低谷：

50年代末第一款神经网络-感知机将人工智能推向了第一次高潮

80年代中期反向传播算法获得广泛关注，人工智能进入第二黄金期

2016年以来，由于云计算、大数据、物联网技术的群体性突破，人工智能正在经历第三次高潮

70年代初，计算能力突破没能使得机器完成大规模数据训练和复杂任务，人工智能进入第一次低潮

90年代初期，由于美国DAPPA失败，政府投入缩减、人工智能进入第二个低谷期

AI、机器学习、深度学习的关系：

人工智能：它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

机器学习：专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识和技能，重新组织已有的知识结构使之不断改善自身的性能。

深度学习：源于人工神经网络的研究，含多隐层的多层感知器就是一中深度学习结构。

AI应用技术方向：

计算机视觉

语音处理：语音识别、语音合成、语音唤醒、声纹识别、音频事件检测

自然语言处理：机器翻译、文本挖掘、情感分析

人工智能三阶段：

计算智能：能存会算（分布式计算、神经网络）

感知智能：能听会看（可以识别人脸的摄像头、可以听懂语言的音箱）

认知智能：能理解会思考（完全独立驾驶的无人汽车、自主行动的机器人）

目前仍处于感知智能的初级阶段

AI面临的挑战：

算法偏见、隐私问题、数据可信度问题、失业问题

数学基础： 一、高等数学： 导数：

一阶导数：实际计算中，离散情况下，两个点参与差分计算，分为前项求导和后项求导；

二阶导数：实际计算中，离散情况下，三或四个点参与差值计算，分为中间差分、前项差分和后项差分；

梯度：

梯度概念是建立在偏导数和方向导数概念基础上的。偏导数：对于一个多元函数，选定一个自变量并让其他自变量保持不变，只考察因变量与选定变量的变化关系。

泰勒展级数（泰勒公式）：

泰勒展级数是部分机器学习和深度学习算法实用性解释的基础。泰勒公式，应用于数学、物理领域，是一个用函数在某点的信息描述其附近取值的公式。如果函数足够平滑的话，在已知函数在某一点的各阶导数值的情况之下，泰勒公式可以用这些导数值做系数构建一个多项式来近似函数在这一点的邻域中的值。泰勒公式还给出了这个多项式和实际的函数值之间的偏差。

二、凸优化： 最优化问题：

函数存在最大值和最小值

无约束优化：

没有约束条件，函数本身就是凸函数，在全空间上存在最小值。采用求导的方式进行处理。

约束优化：

等式约束（拉格朗日乘子法）、不等式约束（KKT条件&拉格朗日乘子法）

线性代数(矩阵计算)：

标量：0阶张量，只有大小，没有方向

矢量：1阶张量，有大小，也有方向

矩阵：

矩阵乘法[点乘、叉乘、卷积(卷积神经网络中主要适用该矩阵运算进行处理) ]

矩阵转置

特殊矩阵[对角矩阵、对称矩阵、正交矩阵、正定矩阵]

矩阵求导[一阶导数、二阶导数]

矩阵分解[特征值分解、奇异值分解(旋转、拉伸、映射)]

矩阵的迹[矩阵主对角线上元素和]

张量：张量的学习涉及到深度学习里张量相关的变换操作

三、概率统计：

随机变量及其分布：

在随机实验中，可能出现也可能不出现，而在大楼重复实验中具有某种规律性的事件，叫做随机事件。

随机事件：

随机变量：连续随机变量、离散随机变量

分布律：随机事件取到某个可能值的概率

概率分布：伯努利分布、二项分布、泊松分布、正态分布

随机变量的数字特征：

期望（均值）

方差：方差大，说明数据的波动性较大，数据分布不稳定，含有信息量多，对样本的区分度较大，。在实际应用中，主要的应用方向包含两个方面，意识特征旋转，另一个是模型评估。模型输出若是方差大，说明与真实输出差距相对较小(偏差小)，说明模型有可能过拟合。

协方差：协方差、相关系数和协方差矩阵主要用于衡量属性之间的相关性，其中相关系数取值在[-1,1]，在进行特征处理时，可以作为特征选择的依据。