今年的 Hot Chips 会议在斯坦福大学举行，在本次会议上，人工智能 (AI) 和机器学习 (ML) 相关议题占据了半壁江山。由于我们也从事片上网络业务，自然而然，这种技术在一些前沿领域发挥的作用尤其令我印象深刻。NVIDIA 展示了他们的可扩展网状架构，包括片上架构和封装级架构。这类网状架构在芯片级可将处理神经网络的处理元素与多播支持连接起来，而在封装级可将这些芯片与可配置路由连接起来。华为展示了用于推理和训练的达芬奇AI 核心。Xilinx 和英特尔展示了各自基于 NoC 的片上系统 (SoC)。谷歌展示了其 TPU-v3 中基于网络的可扩展性，借助这种可扩展性，他们可以将性能线性扩展（利用更多的电路板和机架）至 100 pflops 以上。

此次会议还清晰地传达出这样的讯息：第一，AI 正在推动某些巨型芯片的研发。目前最大的芯片是由 Cerebras 推出的晶圆级芯片，其中包括 1.2 万亿个晶体管，面积为 46,225 平方毫米。第二，互连拓扑结构和更为分布式的缓存方法将奠定坚实的基础，助力这类设计在可接受的吞吐量和功率下工作。从我们与全球多家知名公司的合作来看，AI 社区已经着手将这些概念付诸实践，并且已经持续了相当长的一段时间。可以说，与当今数字设计的其他任何方面相比，AI 需求都更为有力地推动了设计架构和技术的创新。

第三，虽然架构的某些方面很常见（SIMD/VLIW 到网状、环形和环面网络），但多样性依然显著，具有多种具体架构和可扩展性目标，涵盖从加速器、片上和封装级系统到板载、机架等方方面面。在移动领域，这将推动执行大量相关实验，研究在边缘、基站/接入点（雾计算）以及云/数据中心应用哪种 AI 处理技术。

当然，这在某种程度上关注的是性能，同时也需要考虑功率。在移动领域，这还关系到 AI 在雾计算领域能够创造出哪些新的功能和商机，例如 5G 网络切片。分区已成为一个更具多面性的问题，涉及延迟、隐私、可维护性、基础架构的资金投入等等。边界肯定会固定在某个点，但具体位置尚不明确。

在各个层级，片上设计在很大程度上都受每毫瓦性能的驱动，因此需要通过每个处理元件或图块的本地内存/缓存、加速器中的全局缓冲区甚至是片外 HBM2 内存来重点关注 AI 加速器中的数据局部性，从而加快大数据集的工作存储速度。此外，由于加速器与其他形式的图像处理技术共用图像数据，它们还必须一致地连接至 SoC 主控芯片。

所有这些芯片都变得越来越大，因此片上 NoC 互连对于有效管理带宽（考虑到巨大的视频/图像流）变得更加重要。而且，由于某些加速器本身就非常庞大，它们还依赖于加速器内部的网络——不仅仅是 NoC，还包括一致性NoC，从而实现通常与 CPU 集群相关联的加速器缓存之间的所有缓存一致性管理。

关于缓存，还需要注意另外一点。这并非通用计算；架构师和设计师了解他们算法的工作方式，因此，如果存在可用于任何层级缓存的任何技巧（预取等），并且该缓存可充分配置以支持这些技巧，他们就会应用。

最后，似乎所有这些还不够复杂，其中许多器件都应用于汽车等安全至关重要的应用。安全涉及两个方面：一种是 ISO 26262 所涵盖的功能安全，已被业界清晰地描述和应用；另一种为系统级安全，这种更为复杂——例如，在数量相当多且处于可接受范围内的情况下，系统能够正确识别某一行人或某一交通信号灯或其他事物。

ISO/PAS 21448 SOTIF 规范旨在为这一领域提供相关指导。此外，我还了解了 UL 4600 规范（由 CMU 无人驾驶研究者 Phil Koopman 负责）以及 IEEE P2020 工作小组的相关工作进展，后者旨在确定一组用于衡量成像可靠性的关键性能指标，如 LED 闪烁敏感性和对比度检测概率等。在高于芯片级的层级，可能还存在很大的空间，可以进一步明确和量化我们所说的安全性。

同时，在支持新的 AI 架构、对其进行调整以优化每毫瓦性能，并将其有效地嵌入到传统和新型 SoC 架构等方面，正在实现大踏步飞跃。如需了解更多详情，可以单击此处，阅读由我撰写的白皮书。