作家 | ZeR0
剪辑 | 漠影
芯东西2月25日报谈，2月24日，由两位前谷歌工程师创办的好意思国AI芯片创企MatX文书完成5亿好意思元（约合东谈主民币34亿元）B轮融资，其大模子芯片MatX One瞻望一年内完成流片。
据外媒报谈，MatX露出其面前的估值已达数十亿好意思元，也便是已置身独角兽行列。
MatX声称MatX One能罢了远超其他芯片的浑沌量，同期蔓延也最低。这款芯片基于可分割的脉动阵列，兼具大型脉动阵列出色的能效和面作恶果，同期在袖珍矩阵上也能罢了高诈欺率。
据MatX表现，该芯片联结了SRAM优先想象的低蔓延和HBM的长高下文缓助。这些特点加上对数值算计的新评释，使其在大言语模子上的浑沌量高于任何已发布的系统，同期蔓延与SRAM优先想象非常。
MatX的测试标明，把柄每闲居毫米的算计性能磋磨，其预想打算芯片的性能不错高出英伟达行将推出的Rubin Ultra。
2022年，MatX由Reiner Pope和Mike Gunter创办，标的打造一款最稳当大言语模子的芯片。
Reiner Pope曾为谷歌的芯片和AI模子缔造软件，Mike Gunter曾是谷歌TPU的硬件工程师。
如今，MatX的团队限度已发展到约100东谈主。
由前OpenAI商榷员Leopold Aschenbrenner创立的投资公司Situational Awareness与Jane Street领投了MatX的B轮融资。
在Aschenbrenner看来，MatX的芯片相配稳当处分预查验和强化学习，“它很有可能成为这一代最进攻的AI芯片公司。”
前特斯拉AI总监、OpenAI有计划首创东谈主Andrej Karpathy，以及Alchip、Marvell等供应链上的投资者也参与了本轮融资。
Andrej Karpathy在酬酢平台上共享了他参投MatX的念念法。
他合计，token需求激增，为大言语模子的底层内存和算计资源的合理竖立提供了绝佳契机。一个根柢且不易察觉的适度是，受限于芯片制造工艺，内存池会分为两个皆备不同的池（物理罢了神色也不同）：1）紧邻算计单位的片上SRAM，速率极快但容量极低；2）片外DRAM容量很大，但内容难得回。
此外，还有好多架构细节（举例脉动阵列）、数值算计等身分需要洽商。如何想象最优的物理基础架构，并在大言语模子的中枢责任经由（推理预填充/解码、查验/微调等）中合理竖立内存和算计资源，以罢了最好浑沌量/蔓延/资本比，这好像是面前最具眩惑力且答复最高的才能贫瘠之一。
“这一切都是为了快速、低资腹地得回多量token。不错说，最进攻的责任经由（在紧凑的智能体轮回中对长token高下文进行推交融码）是面前两种阵营（HBM优先的英伟达阵营和SRAM优先的Cerebras阵营）最难同期罢了的。”Karpathy写谈。
官网炫耀，关于大型100层MoE模子，MatX的AI芯片每秒可输出逾越2000个token，其横向膨胀互连才能可缓助包含数十万张芯片的集群。
面前，英伟达和谷歌的AI芯片都主要依赖HBM来处分查验AI模子所需的多量算计。还有一些芯片公司给与静态立地存取存储器（SRAM）来更快地处分单个用的查询，以得志日益增长的推理需求。
“咱们的态度是，骨子上不错在归并个居品中同期罢了这两点，况且这么会得到一个更好的居品。”MatX首创东谈主兼CEO Reiner Pope谈谈。
他在酬酢平台X上复兴网友说：“与其他HBM厂商不同，咱们领有填塞的SRAM和互连带宽，足以缓助将权重存储在SRAM中。HBM中的key值对不会加多蔓延，因为密集读取不错预取，而寥落读取的数据量很小。除了内存系统以外，咱们还领有最高的FLOPS/mm2。”
据外媒报谈，MatX瞻望在本年完成芯片的最终想象j9九游会官方，并但愿在2027年开动出货。该公司磋磨与台积电配合坐褥该居品。
