一、AI芯片产生的背景
AI的三大关键基础要素是数据、算法和算力。随着云计算的广泛应用，特别是深度学习成为当前AI研究和运用的主流方式，AI对于算力的要求不断快速提升。AI的许多数据处理涉及矩阵乘法和加法。AI算法，在图像识别等领域，常用的是CNN；语音识别、自然语言处理等领域，主要是RNN，这是两类有区别的算法；但是，他们本质上，都是矩阵或vector的乘法、加法，然后配合一些除法、指数等算法。CPU可以拿来执行AI算法，但因为内部有大量其他逻辑，而这些逻辑对于目前的AI算法来说是完全用不上的，所以，自然造成CPU并不能达到最优的性价比。因此，具有海量并行计算能力、能够加速AI计算的AI芯片应运而生。
二、什么是AI芯片
一般的说，AI芯片被称为AI加速器或计算卡，即专门用于加速AI应用中的大量计算任务的模块（其他非计算任务仍由CPU负责）。而从广义范畴上讲，面向AI计算应用的芯片都可以称为AI芯片。除了以GPU、FPGA、ASIC为代表的AI加速芯片（基于传统芯片架构，对某类特定算法或者场景进行AI计算加速），还有比较前沿性的研究，例如类脑芯片、可重构通用AI芯片等（但距离大规模商用还有较长距离）。以GPU、FPGA、ASIC为代表的AI芯片，是目前可大规模商用的技术路线，是AI芯片的主战场，本文以下主要讨论的就是这类AI芯片。
AI芯片的分类和市场划分
一：从两个维度对AI芯片进行分类
维度1：部署位置（云端、终端）
AI芯片部署的位置有两种：云端、终端。所以根据部署的位置不同，AI芯片可以分为：云AI芯片、端AI芯片。
- 云端，即数据中心，在深度学习的训练阶段需要极大的数据量和大运算量，单一处理器无法独立完成，因此训练环节只能在云端实现。
- 终端，即手机、安防摄像头、汽车、智能家居设备、各种IoT设备等执行边缘计算的智能设备。终端的数量庞大，而且需求差异较大。
云AI芯片的特点是性能强大、能够同时支持大量运算、并且能够灵活地支持图片、语音、视频等不同AI应用。基于云AI芯片的技术，能够让各种智能设备和云端服务器进行快速的连接，并且连接能够保持最大的稳定。端AI芯片的特点是体积小、耗电少，而且性能不需要特别强大，通常只需要支持一两种AI能力。相比于云AI芯片来说，端AI芯片是需要嵌入进设备内部的，当在设备内部中嵌入了端AI芯片之后，能够让设备的AI能力进一步提升，并且让设备在没有联网的情况之下也能够使用相应的AI能力，这样AI的覆盖变得更为全面。
维度2：承担任务（训练、推理）
AI的实现包括两个环节：训练、推理。所以根据承担任务的不同，AI芯片可以分为：用于构建神经网络模型的训练芯片，利用神经网络模型进行推理预测的推理芯片。
- 训练，是指通过大数据训练出一个复杂的神经网络模型，即用大量标记过的数据来“训练”相应的系统，使之可以适应特定的功能。训练需要极高的计算性能，需要较高的精度，需要能处理海量的数据，需要有一定的通用性，以便完成各种各样的学习任务。
- 推理，是指利用训练好的模型，使用新数据推理出各种结论。即借助现有神经网络模型进行运算， 利用新的输入数据来一次性获得正确结论的过程。也有叫做预测或推断。
训练芯片，注重绝对的计算能力，而推断芯片更注重综合指标， 单位能耗算力、时延、成本等都要考虑。训练将在很长一段时间里集中在云端，推理的完成目前也主要集中在云端，但随着越来越多厂商的努力，很多的应用将逐渐转移到终端。推理相对来说对性能的要求并不高，对精度要求也要更低，在特定的场景下，对通用性要求也低，能完成特定任务即可，但因为推理的结果直接提供给终端用户，所以更关注用户体验方面的优化。
