人工智能的三驾马车

字数 2449阅读 4501评论 0赞 4

算力，算法，数据是人工智能的三驾马车 。我们通常将数据送入人工智能算法，算法学习数据背后的规律，形成模型，如下图所示： 
 ![](/home/attachment/202112/31/291115_164093163263734.png)
该过程中包含算法，算力，以及数据，其中数据是燃料，算法是引擎，服务器 ( 算力 ) 则是动力来源，三者是人工智能的三驾马车。

# ** 算力 **

**算力的重要性自不待言。** 强化学习之父 Richard Sutton 在 2019 年 3 月 13 日发表文章《 The Bitter Lesson 》（中文：苦涩的教训）中谈到，依赖于人类的知识会使得 AI 方法复杂化，而依赖于算力的通用 AI 方法常常更加有效。 General methods that leverage computation are ultimately the most effective, and by a large margin.  随着模型的越来越大，模型所拥有的参数从数百万参数到千亿参数，模型的性能和准确率也越来越高。

**训练模型的费用越来越大 。 **为了训练这样的大模型，企业和研究机构通常搭建服务器集群，花费也越来越高。根据 Google 发布的信息，训练 1000 个参数大约需要 1 美元，训练一个模型需要数千美元，到训练一个大模型需要数百万美元。 
![](/home/attachment/202112/31/291115_164093165337917.png)

**高性能的AI训练平台 K1 Power Linux ** AI 中所需算力主要包含训练模型以及部署后预测时所需算力。浪潮商用的 K1 Power Linux 的多 GPU 服务器最高支持 22 CPU core ， 2T 内存，新一代的 IO 加速技术，为企业级的模型训练服务器，可帮助企业或科研机构，高效率地训练模型。以下为高性能的训练模型常用的 Power 服务器。
![](/home/attachment/202112/31/291115_164093166457675.png)

**Power10****内置矩阵运算加速器大幅提高推理效率。** 归根结底，所有的深度学习算法是由数十层到上百层的人工神经网络组成，无论是模型训练还是模型推理，都是一些矩阵运算，例如各种矩阵乘法，加法，转置操作，所以矩阵加速至关重要。 Pwer10 处理器 嵌入式矩阵数学加速器 ， 与 IBM POWER9 处理器相比，每个插槽的 FP32 、 BFloat16 和 INT8 计算的 AI 推理速度分别提升 10 倍、 15 倍 和 20 倍，从而将 AI 融入商业应用，降低 AI 预测服务器的延时。

# **算法 **

深度学习与人工神经**。人工神经网络发端于 1957 年 Frank Rosenblatt 在 Cornell 航空实验室** **发明的感知器模型。从神经网络的角度来看，感知器是仅包含一个神经元的人工神经网络，当我们增大网络让网络包含多层，每层包含多个神经元，这样感知器就变成了目前广泛使用的前馈神经网络。下面是 [Asimov Institute](http://www.asimovinstitute.org/) 所绘制的人工神经网络的结构图，用不同颜色代表不同的层，连线代表神经元之间的连接关系，如下图所示：**

![](/home/attachment/202112/31/291115_164093168554783.png)

目前最流行的网络主要有多层感知器 MLP ，循环神经网络 RNN ，卷积神经网络 CNN 以及 Transformer ，但其他神经网络（如图神经网络）的研究也如火如荼热火朝天。

# ** 数据 **

训练数据包括带标签的数据和不带标签的数据 。 训练模型的数据主要有两种：带标签数据，不带标签数据。这里的标签是 ground truth ，也就是正确的答案，前者有正确答案，后者需要模型来找出正确答案。例如猫狗识别场景中，如果使用带标签的数据，人工在所有猫的照片打上标签“猫”，在所有狗的照片上打上标签“狗”，让模型学习分辨猫和狗，这样的数据就是带标签的数据。给一堆无“正确答案”（不带标签）的照片，让模型自己学习分辨猫和狗，这样的数据是不带标签的数据。

算法，算力，数据到底哪个更重要，不同的人有不同的看法，这样的争论曾发生过多次，无论在国内还是国外。也许最不坏的说法三者三位一体，相辅相成，缺一不可。

## Reference 
[1] Pang-Ning Tan, Michael Steinbach, Vipin Kumar. 数据挖掘导论 [M]. 北京市 : 人民邮电出版社， 2011:150,152
[2] Rich Sutton. The Bitter Lesson.
[http://www.incompleteideas.net/IncIdeas/BitterLesson.html](http://www.incompleteideas.net/IncIdeas/BitterLesson.html). 2019
[3] [Asimov Institute](http://www.asimovinstitute.org/). The Mostly Complete Chart of Neural Networks. [https://www.asimovinstitute.org/?s=The+Mostly+Complete+Chart+of+Neural+Networks](https://www.asimovinstitute.org/?s=The+Mostly+Complete+Chart+of+Neural+Networks)

POWER10 K1 Power Linux 深度学习人工智能机器学习 Power服务器

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论0 条评论

Ctrl+Enter 发表

匿名评论

人工智能的三驾马车

添加新评论0 条评论

作者其他文章

相关文章

相关问题

相关资料