re:Invent 2024：亚马逊云科技在AI期间“芯”洞将来

开端：至顶网

本年，瘦身收效的亚马逊云科技高档副总裁Peter DeSantis，用生成式AI亲手创作了几张re:Invent《周一晚间直播》的配图，来可视化他的演讲。

这也为整场举止定下了基调，其实亚马逊云科技在底层立异上一直有着悠久的历史，从芯片假想到假想架构，再到AI加快，每一步齐在鼓动本事畛域的发展。

亚马逊云科技高档副总裁Peter DeSantis

自研芯片的本事领土

亚马逊云科技一经领有杰出十年“自研芯片”的经由，已推出的四大自研芯片产物组合包括：六代Nitro系统、四代Graviton、两代Trainium和Inferentia。

亚马逊云科技在2018年re:Invent大会上发布了基于ARM架构的第一代Amazon Graviton。尔后，Graviton芯片不停针对本质的责任负载进行性能优化：第二代专注于横向扩展性能，第三代聚焦高假想需求的专科责任负载，而第四代则成为专为云假想打造的性能最强芯片。

Peter DeSantis指出，昔日两年间，新投产的CPU算力中有杰出50%初始在Amazon Graviton上。

与此同期，AWS Nitro System从头界说了做事器架构，从根底上考订了云的构建和保护云的式样。AWS也将AWS Nitro System的安全性拓展到Amazon Graviton4，通过两者的谋划，打造出亚马逊云科技迄今为止最安全的假想产物之一。

AI加快器的硬核进化

Trainium加快器不属于传统的CPU或GPU，其接收了脉动阵列架构，是挑升针对AI责任负载优化过的硬件架构。

“东说念主工智能责任负载不是横向扩展型的责任负载，而是膨胀类型的责任负载。”Peter DeSantis说说念。亚马逊云科技接收“膨胀”的式样，专注于提高单个系统的容量，而不是接收“横向扩展”的式样，构建多个雷同的系统，在多台机器上分派责任负载。

在传统CPU和GPU中，每个假观点式平素需要从内存读取数据、奉行假想后，再将限制写回内存。这种时时的内存操作会导致性能瓶颈，尤其是在需要大宗带宽的AI任务中。

脉动阵列假想筹画是高效惩处大范围的矩阵或张量运算，脉动阵列通过将假想限制平直从一个惩处单位传递到下一个惩处单位，减少了对内存的访谒需求，从而裁减了内存带宽的压力。

Trainium2 Server也获利于此，其是当今亚马逊云科技最纷乱的机器学习做事器，其膨胀的速率也杰出了也曾统共的做事器。现场还第一次展示了AWS Trainium2 UltraServer，其缔造2个机架、4个做事器和64个Trainium加快器，以超高速的NeuronLink相接在全部。AWS Trainium2 UltraServer提供比拟面前EC2 AI做事器多达5倍的假想容量和10倍的内存，算力峰值扩展到83.2PFLOPS。

同期推出全新Trainium3，其接收3nm制程的芯片，与上代Trainium2比拟，假想能力增多2倍，动力恶果擢升40%。Trainium3专为讲理下一代生成式AI责任负载的高性能需求而假想，有助客户更快地开拓更大的模子，由Trainium3驱动的UltraServers瞻望将比 AWS Trainium2 UltraServer的遵守跳跃四倍。

亚马逊云科技同期也属目到推感性能优化的重要性需求，文书了Latency-optimized inference option for Amazon Bedrock，使多样模子不错获取最好的推感性能。借助这一优化，Claude 3.5 Haiku在亚马逊云科技上的初始速率比其他平台快了60%。

AI生态的将来棋局

Anthropic 从确立那天起，就靠着前沿的 AI 本事圈足了眼球。11 月 23 日，亚马逊再度追加40亿好意思元投资，使总投资推高到80亿。这可不仅仅砸钱，而是不才一盘对于AI将来的大棋。

Anthropic快速发展的背后，离不开亚马逊云科技的纷乱本事复古。其Amazon Trainium和 Amazon Inferentia芯片，不仅显耀擢升了Claude模子的锻真金不怕火和推感性能，还显耀裁减了老本。11月4日，Claude 3.5 Haiku也在Amazon Bedrock中进展可用。

Anthropic还在《周一晚间直播》中语牍了Project Rainier面貌，规划在数百个Amazon Trainium 集群上进行锻真金不怕火，构建出更快的、更可扩展的AI，以支抓Anthropic的将来模子开发。

亚马逊云科技还有许多底层基础架构的立异，从性能擢升到老本裁减，每一项肆虐齐在从头界说AI的本事畛域。