Taalas芯片HC1: 硅谷新宠，性能飞跃

新科芯片之星！

最近出炉的一款芯片，已稳居硅谷热门话题榜。

其峰值推理速度高达每秒17000个token。

这是什么概念？目前顶尖选手Cerebras，速度约为每秒2000个token。

速度直接快10倍，成本更是骤减20倍，功耗降低10倍。

这意味着，LLM真的实现了亚毫秒级的即时反应速度。实测效果如同：

这款一夜之间在硅谷风靡的芯片，并非出自英伟达、AMD之手，而是一家成立仅两年、团队仅24人的创业公司——Taalas。

芯片代号HC1，也是公司的首款产品。

不同于所有竞争对手，Taalas选择了迄今为止最极端的技术方案——

模型不再加载到内存里，而是直接刻在硅片上。换言之，芯片即模型。

结果显而易见，Taalas在芯片算力领域掀起变革：H100买不到，HC1或许是个不错的选择。

速度飙升10倍，功耗低至十分之一

HC1目前搭载Llama 3.1 8B模型，用户每秒最高可生成17000个token，远超主流GPU/ASIC。

对比之下，Cerebras约为每秒2000个token，SambaNova约为每秒900个，Groq约为每秒600个，而英伟达Blackwell架构的B200为每秒350个。

具体来说，HC1采用台积电N6工艺，面积为815mm²，体积小巧且开源，单颗芯片即可满足8B模型需求。

每颗芯片典型功耗仅为250W。如果服务器同时装配10颗HC1，功耗也仅为2.5kW，可以直接使用常规空气冷却机架部署。

那么，是如何实现如此大的性能飞跃的呢？

首先，HC1借鉴了2000年代初期的结构化ASIC芯片理念。这种芯片采用门阵列和固化IP，仅通过改变互连层就能使芯片适应特定的工作负载。

HC1采用类似思路，不改变底层电路，只通过调整两层掩模，就能低成本快速做出专用AI推理芯片。

它放弃了大多数可编程功能，将模型连同权重一起通过基于掩模ROM的调用架构存储在芯片上，并保留一个可编程SRAM用于保存微调后的权重（如LoRA）和KV缓存。其余则全部通过掩模ROM固化执行。

除了Llama 3.1，Taalas也尝试将其他模型集成到HC1上。例如对DeepSeekR1-671B的多芯片解决方案。

高防服务器阿里云服务器免费vps