初始阶段，由于不需考虑功耗等原因，人工智能的芯片可以追求高算力、高并发、高吞吐量，现阶段的解决方案一般是以“GPU＋CPU”的异构模式来完成。同时，这种方案主要面向各大AI企业及实验室的训练环节，目前市场中由于AMD在此方面的长期缺失，导致深度学习GPU加速市场由NVIDIA一家独大。
但随着人工智能逐渐在云端展开应用，对AI芯片则提出了更多要求，在兼顾高性能的同时，还需要兼顾功耗及反应时间。而作为半定制的专用集成电路FPGA（现场可编程门阵列）恰好能够满足要求，其特点是能耗低，同时具有低延时、高吞吐的特性，可以满足人工智能在云端运行的需求。目前，FPGA市场Xilinx和Altera两家占据绝对垄断地位，市场份额接近90％。
未来，人工智能技术注定要进一步下放至终端设备，由于物理原因受限，因此芯片的功耗、面积、成本都需要进一步优化。主要解决方案为独立ASIC与SoC＋IP两种；独立ASIC可以通过定制化的设计来实现性能更加优越、保密性更强的芯片，但缺点是开发周期较长，投入成本巨大，一般公司难以承受。SoC＋IP在ASIC的开发弊端上具有很大的优势，但缺点是功能拓展性较弱，此前华为发布的昇腾系列AI芯片便按照此种方案开发。
虽然ASIC有种种开发上的困难，但是作为专用集成电路，其性能与功耗的优势却是显而易见的。在人工智能神经网络计算中，与传统计算有一定的区别，导致进行神经网络计算时，CPU、DSP、GPU都有算力、性能、能效等方面的不足，所以产生了专为神经网络计算而设计处理器或加速器的需求。由于ASIC属于定制类的芯片，涉及重新设计电路，因此生产的困难性颇大，目前市场中人工智能ASIC领域龙头当属Google TPU，其今年5月份发布的第三代TPU处理器本身的功能为第二代的两倍。
以手机为例，在智能手机这类设备之中一般都有GPU及CPU，可以为人工智能提供相应的运算能力支持，那为何还要专门开发AI芯片来进行这项工作呢？这里举一个简单的例子，去普通饭店吃饭时可以选择各种菜系，可能会比较美味，但若想要品尝正宗的菜肴，要去专门的饭店才有可能吃到。
AI芯片也是如此，虽然手机也会有GPU及CPU，但功耗低、重量轻、厚度薄才是其追求的方向。专用的AI芯片能够实现最高效率及能力，并且只占用很小的空间及更低的功耗。同时不会占用CPU及GPU太多的资源，可以保证手机在运行人工智能的同时还能进行其他操作。
当然AI芯片的重要性不止于此。以Google TPU1为例，其拥有256X256尺寸的脉动阵列，约为700MHz，拥有64K个乘法单元，每个单元单次可执行一个乘法及加法，即128K个操作。那么TPU1每秒的巅峰计算次数为约90Tops，当然这里只是理论数值，由于数据传输、存储、提取等原因，往往达不到峰值速率。
但是，相较于普通GPU及CPU方案来进行训练时，尤其目前神经网络尺寸越发庞大，参数更加繁杂，通常大型NN模型的训练时间长达几周甚至数月，而期间出现各种意外情况也会影响到训练的进度，如停电等。而采用了TPU1则可以在一顿饭的时间内完成，其效率大大提升。
而AI芯片虽然被冠以AI之名，但其本质还是一枚芯片。在经历中美贸易战初期的交锋后，国内企业已经纷纷醒悟过来若没有自己的核心技术，即使做到再强也不过一堆沙滩上的雕塑而已，浪潮一来即可覆灭。
在面对CPU及GPU被国外企业垄断的格局下，AI芯片成为了国内厂商新的突破点。目前来看，人工智能技术中美两国基本处于同一起跑线上，因此对于AI芯片的开发更加有利。但是芯片的设计并非一朝一夕之功，加之我国的芯片制造能力也非常薄弱，需要投入大量人力财力才可能得出有效的产品。国内目前对AI芯片投入研究的企业有寒武纪、华为海思、中兴微电子、阿里平头哥等，还有许多小型企业也纷纷跟风进入AI芯片领域中。
这是由于AI芯片制作并不同传统芯片一般，不需要花费精力制作IP内核，直接采用其他IP再加上架构层面的优化，针对业务需求对IP进行整合，因此制作的门槛大大降低，如上述提到的SoC＋IP方案。华为昇腾系列的推出为AI国产芯片注入了一针强心剂，极大地振奋了国产AI芯片相关制造企业。
但值得注意的是，虽然华为推出了AI芯片，但其在手机端的应用依然有许多局限性，大多只应用于图片识别上。不仅华为如此，苹果及联发科也是如此，如何拓展未来AI的更多应用，成为了下一步将要迈出的关键。
