米乐M6:2024年大型数据中心芯片盘点
新的一年已经成为我们一段时间以来数据领域最重要的一年。每个主要芯片公司都计划在未来 12 个月内更新其
Nvidia 计划在 2024 年推出大量新的加速器、GPU 架构和网络套件。英特尔将与新的 Habana GaudiAI芯片一起推出可以说是多年来最引人注目的 Xeon。与此同时,AMD凭借 MI300 系列的推出,计划将其第五代 Epyc处理器推向市场。
让我们深入了解 2024 年我们关注的一些大型数据中心芯片的发布(排名不分先后)。
Nvidia 的 H200 加速器将是 2024 年首批投放市场的新芯片之一。GPU 本质上是久负盛名的 H100 的更新版。
您可能期望最新的芯片能够比老款芯片提供更高的性能提升,但事实并非如此。仔细阅读规格表,您会发现浮点性能与 H100 相同。相反,该部件的性能提升(Nvidia 声称 Llama 70B 等 LLM 的性能提升了一倍)取决于该芯片的 HBM3e 内存堆栈。
我们承诺 H200 将配备高达 141 GB 的 HBM3e 内存,可实现高达 4.8TB/s 的带宽。随着 LLM 的普及(例如 Meta 的 Llama 2、Falcon 40B、Stable Diffusion 等),内存容量和带宽对推理性能产生巨大影响,即单个加速器或服务器可以容纳多大的模型,以及您可以同时处理多少个请求。
正如我们最近在对 AMD 和 Nvidia 基准测试失败的分析中所探讨的那样,对于此类 AI 工作负载,FLOPS 并不像内存容量和带宽那么重要。
根据 2023 年的投资者演示,H200 将不会是我们在 2024 年看到的 Nvidia 唯一的 GPU。为了巩固其领导地位,Nvidia 正在转向每年发布新芯片和我们看到的第一个新部件的发布节奏。格林队将成为 B100。
据我们了解,这里的“B”是微架构名称 Blackwell 的缩写,大概是对美国统计学家 David Blackwell 的致敬。除了 2024 年推出之外,我们对该部件的了解仍然不多。
就目前情况而言,AMD 新推出的 MI300X GPU 不仅比 H200 具有更高的 FLOPS,而且还具有更多、更快的启动内存。我们无法想象英伟达对此感到高兴,特别是考虑到这家美国巨头最近的防御性有多强。因此,我们完全期望 B100 能够提供更高的 FLOPS 和更多的 HBM3e 堆栈,从而将加速器的内存容量和带宽推向新的高度。
然后是B40。从历史上看,此类卡针对的是可以在单个 GPU 中运行的较小企业工作负载。该部件将取代 L40 和 L40S,并将 Nvidia 的企业 GPU 系列整合到单一总体架构下。
可以说,英伟达加速路线图中最有趣的部分与网络有关。Nvidia 正在寻求与 Blackwell 实现 800Gb/s 连接,尽管正如我们之前探讨的那样,这带来了一些独特的挑战,因为 PCIe 5.0 的速度还远远不够,而 PCIe 6.0 仍然有一些距离。
当我们看到这些Blackwell仍然悬而未决时,但是,如果历史可以回顾的话,我们可能不必等待那么久。Nvidia 在加速器实际可供购买之前几个月(当然有时是几年)预先发布加速器的历史由来已久。
Nvidia 在 2022 年初预告了其 Grace-Hopper 超级芯片,但据我们了解,这些部件现在才进入客户手中。因此,我们最早可以在 GTC 上获得有关基于 Blackwell 的部件的更多详细信息。
与加速器主题保持一致,英特尔计划于 2024 年某个时候发布其第三代 Gaudi AI 芯片。
虽然英伟达和 AMD 几个月来一直习惯于调侃和炒作他们的产品发布,但英特尔却对此守口如瓶。到目前为止,我们看到的大部分内容都来自这张演示幻灯片,至少从9 月份的创新活动开始,它就一直在展示这张幻灯片:
通常这些数字可以为我们提供推断相对绩效数据的起点。不幸的是,要做到这一点,英特尔必须告诉我们 Gaudi2 的 BF16 性能实际上是什么。我们问过,他们不想谈论这个问题,尽管他们声称 Gaudi3 改进了 4 倍。相反,英特尔希望关注实际性能而不是基准比较。
坦率地说,这是一个令人困惑的营销决定,因为如果没有参考框架,这种说法基本上毫无意义。此外,从表面上看,x86 巨头这次使用了 8 个 HBM 堆栈,而不是 6 个。
除了 Gaudi3 之外,我们还获悉,Gaudi2 的版本将再次针对中国市场进行调低(以符合美国对中国的出口限制),英特尔声称它将在之前发货传闻中的Nvidia H20芯片已登陆大陆。
与此同时,在 CPU 方面,英特尔计划在 2024 年推出一项双重功能,将使用其推迟已久的Intel3 处理技术。需要明确的是,英特尔并不是突然转向 3nm。多年来,该公司一直致力于这个节点(以前称为 7nm)。它最终被重新命名为 Intel 4 和 Intel 3,以使其在营销方面与竞争节点的晶体管密度更加一致。
我们将在 2024 年上半年推出首款基于 Intel-3 的 Xeon 处理器。该芯片代号为 Sierra Forest,可配备一对 144 核芯片,每个插槽总共有 288 个 CPU 核心。当然,这些核心与我们在过去的至强中看到的核心不同。它们是英特尔效率核心架构的演变,早在 2021 年,随着Alder Lake的推出,该架构就开始出现在 PC 和笔记本处理器中。
不过,虽然这些芯片通常配有一组性能核心,但 Sierra Forest 都是电子核心,旨在与 Ampere、AMD 以及 AWS 和微软等云提供商部署的大量定制 Arm CPU 竞争。
英特尔声称的优势在于,它可以在单个插槽或机箱中装入比其他任何产品更多的内核,同时保持与大多数 x86 二进制文件的兼容性。我们说“大多数”是因为 e-core 不具有与过去的 Xeon 相同的功能集。
两个最大的区别是完全缺乏 AVX512 和高级矩阵扩展 (AMX) 支持。这里的论点是,我们看到广泛部署在云中的许多工作负载(例如 Nginx)不一定受益于这些功能,因此,与其将大量的芯片空间专用于大型向量和矩阵计算,不如将该空间相反,可以用于将更多核心封装到每个芯片上。
然而,并非所有芯片公司都同意这种做法。AMD 于 2023 年春季推出的Bergamo Epycs 采用了截然不同的方法。这些服务器处理器使用 AMD Zen 4 核心的紧凑版本,称为 Zen 4c,以时钟速度换取更小的占地面积。这使得 AMD 能够将 128 个核心封装到每个处理器封装的 8 个计算芯片中,而无需牺牲功能。
两种方法都有优点。根据虚拟机管理程序的不同,缺乏某些 CPU 功能可能会导致将工作负载从一个机器迁移到另一个机器时出现问题。英特尔希望通过 AVX10 来克服这个问题,我们在今年夏天对其进行了深入研究。简而言之,它旨在向后移植许多更具吸引力的功能,例如从 AVX512 到 mile米乐m6AVX2 的 FP16 和 BF16 支持。结果是您不太可能遇到这种迁移问题,除非您确实需要 512 位宽向量寄存器。
我们仍然不知道它将有多少个核心,也不知道顶级部件的时钟速度有多快,但我们被告知它将超过 Emerald Rapids。我们确实知道,该芯片将采用比 Sapphire 或 Emerald Rapids 更加模块化的小芯片架构,每个封装最多有五个芯片——三个计算芯片和两个 I/O。
根据 SKU 的不同,该芯片将配备更多或更少的计算芯片,使英特尔能够利用 AMD 多年来享有的模块化优势。此前,2023 年的 Xeon 要么在所谓的“极端核心数 (XCC) 芯片上配备一个大型中等核心数 (MCC) 芯片,要么在所谓的“极端核心数 (XCC) 芯片上配备两个大型 (Emerald) 或四个较小 (Sapphire) 计算芯片。
英特尔的下一代 Xeon 将 I/O 功能分解到一对三明治结构的芯片中。这些 I/O 芯片非常重要,因为它们有助于缩小与 AMD 的差距,AMD 不仅在过去五年中保持着核心数量优势,而且通常还提供更多、更快的 PCIe 通道和内存通道。
该芯片系列还将支持多达 136 个 PCIe/CXL 通道,但仅支持 PCIe 5.0 速度。PCIe 6.0可能会在 2024 年推出,但对于英特尔的“下一代”Xeon 来说还来不及。
当然,AMD 将推出 Turin,这是其第五代 Epyc 服务器处理器,由新的 Zen 5 内核提供支持。目前,我们对这一部分没什么可说的,只能说它会在 2024 年的某个时候发布。
考虑到时间,我们可以做出一些假设。我们打赌该芯片将在其计算块中使用台积电的 4nm 或 3nm 工艺技术,但很难说 I/O 芯片是否会缩小工艺。
除此之外,我们只能指出最近通过 Xitter分享的泄密事件,这些泄密事件表明 AMD 可能会再次增加其产品线的核心数量。如果泄漏属实,我们可能会看到具有多达 128 个 Zen 5 核心或 192 个 Zen 5c 核心的 Epyc 处理器。
核心复合芯片 (CCD) 本身与Genoa和Bergamo相比似乎没有太大变化,每个小芯片分别有 8 个或 16 个核心。据报道,AMD 将在其通用用途上使用 16 个计算芯片,并在以云为中心的平台上使用 12 个计算芯片,以实现声称的核心数量。话虽如此,我们还得拭目以待,看看泄露的消息是否准确。
近年来,AMD 的 Eypc 产品线变得更加复杂,目前涵盖通用、高性能计算、云和边缘应用。AMD 传统上会在大约一年的时间内推出这些芯片。Epyc 4 于 2022 年 11 月推出,Bergamo 和 Genoa-X 于 2023 年 6 月推出,其专注于边缘的 Siena 部件直到 9 月份才出现。
需要绝对明确的是,这绝不是 2024 年即将推出的数据中心处理器的详尽列表。我们完全预计未来 12 个月将会出现更多惊喜,特别是随着人工智能炒作列车的速度加快以及云提供商继续拥抱定制硅。
微软最近涉足定制人工智能和 CPU 领域,而谷歌已经拥有几代张量处理单元,并且有传言称正在开发自己的 CPU。
我们还将关注 Arm 为推动其 Neoverse 核心架构和计算子系统 (CSS) IP 堆栈所做的努力。后者是我们所见过的 Arm 在现代最接近设计整个处理器的方式。
还有大量半导体S初创公司,如 Ampere、Graphcore、Cerebras、SambaNova、Groq 等,希望在人工智能新世界秩序中开辟一席之地。到 2024 年,如果看到这些供应商中的任何一家推出新芯片、产品和系统,我们都不会感到惊讶。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。举报投诉
设备贸易展览会(Cloud Expo Asia and Data Center World )( 世界 专业性极强的云技术设备及大
。主题展览一 :Cloud Expo Europe※ 云技术区 :主要展示云计算平台构建技术,云计算适用
,中国IDC市场规模将接近1, 400亿元,增速达到39.6%。为推动我国
,中国IDC市场规模将接近1, 400亿元,增速达到39.6%。为推动我国
承办单位:上海仪诺展览服务有限公司展会简介:欢迎参加2020第九届北京国际
铜缆布线依然是主流,从前光纤价格过高,因此未能广泛普及。而随着科技的不断进步,大众对带宽需求也不断增长,光纤价格下降并趋于稳定,因此在
对于100Gbps模块的需求时代已经到了,而对于10G/40Gbps模块的需求依然强劲。SMC针对
柴油发电机在启动的时候出现了发电机停车保护的现象,我们曾经历过过的几个
柴油发电机在启动的时候出现了发电机停车保护的现象,我们曾经历过过的几个
市场持续高速发展国际惯例,先介(bai)绍(du)一(bai)下(ke)“
是全球协作的特定设备网络,用来在 internet 网络基础设施上传递、加速、展示、计算、存储
所有设备运转的动力,从照明到加热和冷却,再到所有的IT设备都需要它。为了保持
本帖最后由 易飞扬 于 2020-8-22 15:05 编辑 根据通信产业研究机构(CIR)的报告,2020
,将快速恢复,降低误操作以及保证设备端口正常运行作为最基础要求的环境,交叉连接无疑是最佳选择。毕竟,在日常维护时尽量避开接触敏感的设备端口无疑是明智的。和联电子16
专注于技术与品质,为客户提供全面专业的服务与技术,量身订制合理网络布线
的建设处于高速增长的阶段,目前很多企业已经通过各种信息与通信系统的建设,而拥有了大量的电子信息设施与大规模的信息网络构架。如何对它们进行更好地运用,发挥其最大的作用,使其可以更加
是全球协作的特定设备网络,用来在因特网络基础设施上传递、加速、展示、计算、存储
的健康检查(电气篇)随着信息化数字社会的发展,人们在日常生活中享受着互联网、物联网、云计算这些新兴技术发展带来的便利,同时也越来越依赖于这些先进的科技成果构成的巨大网络。而支撑这个网络
基础设施组件。在传统的组合供应商模式中,这些技术都在内部开发。进入市场的主要优势在于供应商的规模。大多数传统
的完整项目路线图,那这种进入市场的方式可以把供应商定位为市场的领导者,而不是市场追随者。实施这一战略是一个大胆的举动。此种方式代表了一种新的
能效吗?孙长青,注册暖通工程师,高级工程师,规划设计部总工程师,IDC单位设计总监等,有多年从事
云计算服务器销售额将激增至126亿美元。IDC表示,预计公共领域云计算服务器营收将从2009
机柜门远程监控:通过app读取机柜内温度,湿度,开门状态;控制门开锁。传感器-
40G和100G已然存在,但为什么还要使用25G?为什么25G比40G更适合
是企业用来容纳其关键业务应用程序和信息的物理设施。随着它们的发展,重要的是要长期考虑如何保持它们的可靠性和安全性。什么是
供电系统由中压配电、变压器、低压配电、不间断电源、末端配电以及发电机组等设备组成,其中UPS的主要作用是在市电电源中断、发电机启动之前,确保所带负载的持续供电。1
亿元人民币左右,包含基础设施产品(新风系统、精密空调、冷水机组、冷却塔、发电机组、UPS、蓄电池、综合布线、PDU、动环监控、机柜等)、服务器、网络存储、网络设备等。 2017
家庭、物联网等诸多领域。而在5G的铺设中,光纤光缆的需求量也将随之快速增长,其中,拥有优势的MPO/MTP光缆也开始获得了更多人的关注。本文就来细数MPO/MTP光缆在5G
现如今,尽管IT业界的各种新兴技术可能正发生着各种突飞猛进的快速变化,但每家
工作负载,FPGA 可以显著提高性能,最大程度减少附加功耗并降低总体拥有成本 (TCO)。
机房监控系统也可以称为“自我监控系统”,主要是针对机房所有的设备及环境进行集中监控和管理的,其监控对象构成机房的各个子系统:动力系统
组织需要端到端控制,才能使基于人工智能和机器学习的应用程序成为其业务差异化因素,唯一有效的方法是呈现在公司
主要由机柜、密闭通道、供配电系统、制冷系统、智能监控系统、综合布线和消防系统组成。机柜数量可根据客户需求成对减少。模块化
主要由机柜、密闭通道、供配电系统、制冷系统、智能监控系统、综合布线和消防系统组成。机柜数量可根据客户需求成对减少。模块化
为ASX的交易者而建造,距离悉尼CBD只有5公里。 KVH的PoP延伸到KVH的东京
,高昂的成本令人望而却步。但至今电信服务提供商的经历证明,投资100G技术是一项造福数十
云和网络规模提供商已经实施了软件定义存储、融合架构和超融合架构。以太网存储结构(ESF)技术已经成为
,前五大云计算供应商的投资总额将与五大电信服务提供商的投资总额持平,服务供应商将不断加大在
业务负责人黛安·布莱恩特(Diane Bryant),拒绝对微服务器市场的规模进行预测。不过她透露,有超过20款即将推出的微型服务器、存储、通信产品,选择了Atom
通常利用10G接入端口访问40g交换网络。 然而, 25g接入端口和100G的交换网络将在未来的几年里发展迅速。 在
,环境可持续性不仅要符合各种监管规范,而且要确保自己的业务可持续性。美国能源部劳伦斯伯克利国家实验室在2016
的UPS电源如果采用锂离子电池,可以带来更大的容量、更低的总体拥有成本、更长的组件寿命的优势。
场景,本次招标共分为3个标段,锐捷网络凭借雄厚的技术积累和创新能力,在
这个词,主要运营向企业用户提供局方设施和带宽服务的租赁服务,随着互联网爆炸式的发展,
、绿色发展的指导方针。在“新型基础设施建设”启动一周年之后,随着5G网络、人工智能、云计算技术的成熟与应用的发展,社会对于
黄蕾 安科瑞电气股份有限公司 上海嘉定 201801 摘要: 首先对


