美国加州初创公司Lightmatter发布光子超级芯片M1000和共封装光学器件L200,旨在实现全球最快的AI互连。
2.M1000采用突破性的3D光子互连层技术,为下一代AI基础设施提供最高的带宽和最大的芯片复合体。
3.L200是全球首款3D共封装光学产品,通过无边缘I/O实现整个芯片区域带宽的扩展,使AI模型训练速度提升8倍。
4.除此之外,Lightmatter与格芯、日月光半导体和Amkor等公司合作,力争实现M1000的量产。
5.目前,L200和L200X 3D共封装光学芯片将于2026年上市,加速下一代基础AI模型所需的下一代XPU和交换机的上市时间和性能提升。
在光电混合算力领域,可能很多人都熟悉由美国麻省理工学院博士毕业生沈亦晨回国创办的曦智科技,该公司的创始技术起源于一篇论文。沈亦晨和他在麻省理工学院的同学尼古拉斯·哈里斯(Nicholas Harris)是这篇论文的共同作者,同时他们还曾共同入选 2021 年度《麻省理工科技评论》全球“35 岁以下科技创新 35 人”榜单。
颇为相似的是,同样依托于这篇论文,哈里斯在美国加州创办了一家名为 Lightmatter 的公司。就在最近,哈里斯的 Lightmatter 发布了一系列新产品。
此次发布的第一款新品是一个名为 Passage M1000 的光子超级芯片(下称“M1000”),该公司表示其能实现全球最快的 AI 互连,并表示其采用突破性的 3D 光子互连层技术,为下一代 AI 基础设施的硅设计提供了最高的带宽和最大的芯片复合体。
此次发布的第二款新品是一个名为 Passage L200 的共封装光学器件(下称“L200”),L200 通过全球首个无边缘 I/O 实现了整个芯片区域带宽的扩展。该公司表示这是 AI 领域最快的共封装光学器件,并表示其采用革命性的 3D 光子互连解决方案消除了带宽瓶颈,能使 AI 模型的训练速度提升 8 倍。
Lightmatter 的创始人兼 CEO 尼克·哈里斯(Nick Harris)表示:“带宽扩展已成为 AI 发展的关键障碍。L200 系列 3D 共封装光学解决方案所代表的工程突破,为下一代 AI 处理器和交换机提供了基础构建模块。”
毫无疑问,Lightmatter 希望利用光子计算技术来重塑芯片的通信和计算方式。麻省理工学院官网在新闻稿中评价称,本次产品加速了向光速计算迈进的步伐。
M1000 是一款专为下一代 XPU(X Processing Unit)和交换机设计的 3D 光子超级芯片,能为要求相对苛刻的 AI 基础设施应用提供 114 Tbps 的总光带宽。
M1000 基准平台的面积超过 4000 平方毫米,这种基准平台是一个多光罩的主动式光子中介层。基于该平台能够构建全球最大的 3D 封装裸片复合体,在单一域中为数千个 GPU 提供互联支持。
在现有的芯片设计中,处理器、内存和 I/O 小芯片的互连带宽比较有限,因为电 I/O 连接仅限于这些芯片的边缘。而 M1000 可以在其表面的几乎任何位置为堆叠的芯片复合体释放电光 I/O,成功地克服了上述限制。
M1000 通过大规模可重构波导网络来实现全域中介层互联,这种网络能在整个平台之内传输高带宽波分复用(WDM,Wavelength Division Multiplexing)光信号。其拥有完全集成的光纤接口,支持多达 256 根光纤的突破性配置。相比传统共封装光学器件(CPO,Co-Packaged Optics)以及同类方案,利来国际app这让 M1000 能在更小的封装尺寸之下实现带宽性能的数量级提升。
目前,Lightmatter 正与包括格芯和 Amkor 在内的企业紧密合作,力争实现 M1000 的量产。据了解,M1000 采用格芯 Fotonix 硅光平台技术,这一技术通过将光子元件与高性能 CMOS 逻辑无缝集成至单一晶粒,能构建出一种可以随 AI 需求进行扩展的量产设计方案。预计 M1000 将于 2025 年夏季推出,届时还将推出由该公司推出的光引擎 Guide。
此次推出的第二款产品 L200,被 Lightmatter 称为是全球首款 3D 共封装光学产品。
L200 旨在与最新的 XPU 和交换机芯片设计集成,通过消除互连带宽瓶颈,实现 AI 性能的扩展。L200 3D 共封装光学系列包括 32Tbps 和 64 Tbps 两个版本,相比现有解决方案其性能提升了 5 至 10 倍,这让每个芯片封装的总 I/O 带宽超过 200 Tbps。
据了解,当前的带宽扩展远远不及计算性能的提升。AI 计算的持续进步要求互连技术发生根本性变革。当前的连接解决方案,包括电、光学和传统共封装光学都会受到带宽的限制,因为它们的 I/O 接口仅仅限于芯片的边缘。
L200 通过全球首个无边缘 I/O 克服了这些限制,实现了整个芯片区域带宽的扩展。这种模块化的 3D 共封装光学解决方案利用了通用小芯片互连技术裸片到裸片(D2D,die-to-die)接口,并促进了基于可扩展小芯片的架构与下一代 XPU 和交换机的无缝集成。
L200 3D 共封装光学集成了 Alphawave Semi 公司的最新小芯片技术,并将通用小芯片互连接口与光通信就绪的串行器/解串器,与 Lightmatter 的光子集成电路技术加以结合。
据介绍,Alphawave Semi 公司的先进节点电子集成电路采用标准晶圆上芯片技术,并在光子集成电路上进行 3D 集成。3D 集成技术使得串行器/解串器 I/O 可以放置在芯片上的任何位置,而不仅仅局限于其边缘位置,从而能为每个 L200 提供相当于 40 个可插拔光收发器的带宽。此外,一个封装中可以集成多个 L200,从而能够广泛用于 XPU 和交换机应用。
L200 采用先进的冗余设计和弹性设计,搭载 Lightmatter 的 Guide 光引擎,每个模块提供卓越的激光集成度和总光功率,能够支持 L200 的全带宽。
目前,Lightmatter 提供两种产品型号:L200(32Tbps)和 L200X(64Tbps)3D 共封装光学引擎。这些解决方案基于 Lightmatter 已经过验证的 Passage 技术平台,每个波导/光纤提供 16 个波分复用波长,并具备最先进且完全集成的光子控制能力。
据了解,L200 专门为大规模生产而设计,硅光子工厂和外包封装测试合作伙伴包括格芯 、日月光半导体和 Amkor。
Lightmatter 的 L200 和 L200X 3D 共封装光学芯片将于 2026 年上市,旨在加速下一代基础 AI 模型所需的下一代 XPU 和交换机的上市时间和性能提升。
Cignal AI 的创始人兼首席分析师安德鲁·施米特(Andrew Schmitt)评价称:“AI 数据中心互连面临着日益增长的带宽和功耗挑战。”“共封装光学——将光学器件直接集成到 XPU 和交换机上——是必然的解决方案。Lightmatter 的大胆方法提供了共封装光学的基本要素,并为超大规模数据中心运营商和芯片制造商提供了一条实现高性能系统的途径。”
当前,人类将越来越小的晶体管集成到芯片上的能力,促成了当今无处不在的计算时代。但这种方法终于逼近了极限,一些专家宣称摩尔定律以及与之相关的登纳德缩放定律(Dennard’s Scaling)即将终结。这些技术进展遭遇瓶颈的时机可谓糟糕至极。近年来,计算需求尤其是 AI 的爆发已呈指数级增长,且毫无放缓迹象。
与此同时,几十年以来人们一直希望能够研制出使用光子而不是电子的光学芯片来进行计算任务。光学芯片兼具速度快和能耗低的优点。然而,让它们真正运行起来并非易事。
2017 年,哈里斯和沈亦晨等同事,共同发表了上述Nature论文。论文中,他们运用光学芯片的方案,计算出了经过传统方式训练的神经网络的输出结果。
在论文中,他们介绍了一种由 56 个可编程干涉仪设备构成的“光路”,其中干涉仪设备可以分解并重组光波。这种方法解决了一个正确识别元音的问题,在 180 个案例中它分辨出了四分之三的元音。
虽然这一结果暂时比不上识别率准确率超过 90% 的普通计算机,但是该电路的表现尚算亮眼。之后不久,哈里斯和沈奕晨分别在美国和中国创立了各自的初创公司。
一旦这样的神经网络能在光学芯片上实现功能以及训练,一些推理过程例如找出元音对应的声音,就会像光子通过芯片一样顺滑,同时还兼具高速和节能的优点。
在进入麻省理工学院读博之前,哈里斯曾在半导体公司美光科技工作,研究集成芯片背后的基本器件。这段经历让他意识到,在每个芯片上塞入更多晶体管的提高计算机性能的传统方法已经达到极限。
当时,他看到计算领域的路线图正在放缓,于是想弄清楚如何才能继续推进它。那么,哪些方法可以增强计算机的性能?量子计算和光子学就是其中两条途径。
哈里斯来到麻省理工学院,在电气工程与计算机科学系副教授德克·恩格伦(Dirk Englund)的指导下攻读博士学位,研究光子量子计算。作为博士工作的一部分,他构建了基于硅的集成光子芯片,该芯片能够利用光而非电来发送和处理信息。
这项工作促成了数十项专利的申请,并在Nature等著名期刊上发表了 80 多篇研究论文。但在麻省理工学院,另一项技术也引起了哈里斯的注意。
“我记得自己走过大厅,看到学生们从这些礼堂大小的教室里蜂拥而出,观看实时转播的讲座视频,聆听教授们讲授深度学习。”哈里斯告诉媒体,“校园里的每个人都知道深度学习将会是一件大事,于是我开始更多地了解它,我们意识到,我正在为光子量子计算构建的系统实际上可以用来进行深度学习。”
哈里斯原本计划在获得博士学位后成为一名教授,但他意识到通过创业可以吸引更多资金并更快地实现创新,于是他与同样在恩格伦实验室学习的达里乌斯·布南达尔(Darius Bunandar,2019 届麻省理工学院博士毕业生)以及托马斯·格雷厄姆(Thomas Graham,2018 届麻省理工学院 MBA 毕业生)联手。这三位联合创始人凭借在 2017 年麻省理工学院 10 万美元创业大赛中的胜利,成功进军创业领域。
在 Lightmatter,哈里斯希望通过重新思考芯片的生命线来延续计算的显著进步。该公司不仅依赖电力,还利用光来进行数据处理和传输。该公司的前两款产品分别是一种专门用于 AI 运算的芯片和一种促进芯片间数据传输的互连器,同时它们利用光子和电子来驱动更高效的运算。
哈里斯目前正在解决的两个问题是:芯片如何交流?如何进行 AI 计算?Lightmatter 在此之前的两款产品 Envise 和 Passage,能够同时解决这两个问题。
鉴于问题的严重性和对 AI 的需求,Lightmatter 在 2023 年筹集了近 3 亿美元的资金,估值达到 12 亿美元。哈里斯告诉媒体:“我们将在由数十万个下一代计算单元组成的互连技术之上构建平台。如果没有我们正在开发的技术,这根本不可能实现。”
据了解,Lightmatter 的上一代产品 Envise 芯片实现了电子擅长的计算部分比如存储功能,同时还能将其与光擅长的方面相结合,例如执行深度学习模型中大规模的矩阵乘法运算。
利用光子学可以同时执行多项计算,因为数据是以不同颜色的光的形式输入的。一种颜色的光可能代表一张狗的照片,另一种颜色的光可能代表一张猫的照片,还有一种颜色的光可能代表一棵树。通过在同一时间通过同一个光学计算单元,即让这个矩阵加速器执行所有这三种操作,就能提高单位面积的计算能力,并能重复利用已有的硬件,从而能够提高能源效率。
光通道利用光的延迟和带宽优势,以类似于光纤电缆利用光长距离传输数据的方式,将处理器连接起来。它还使整个晶圆大小的芯片能够作为单个处理器运行。在芯片之间传输信息对于运行大规模服务器群至关重要,这些服务器群为云计算和像 ChatGPT 这样的 AI 模型提供支持。
据预测,到 2040 年,全球约 80% 的能源使用将用于数据中心和计算,而 AI 将占据其中的很大一部分,当我们审视这些 AI 大模型的训练计算部署时,就会发现它们将使用数百兆瓦的电力。它们的用电量达到了城市的规模。
Lightmatter 目前正与芯片制造商和云服务提供商合作,以实现大规模部署。哈里斯指出,由于该公司的设备是在硅片上运行的,因此可以通过现有的半导体制造设施进行生产,而无需对工艺进行大规模更改。
未来,该公司将继续研究计算机的所有部件,以找出光可以在哪些方面加速它们,使它们更节能、更快。未来,Lightmatter 希望能够助力于构建下一代计算机,而这一切都将以光为中心。