一家头部云厂商本周正在杭州公布了首款面背AI SaaS场景芯片ams.abg6888.net的自研芯片，代号“烛龙”。官方给出的实测数据，运转70亿参数模子时。每百万token推理本钱压到0.3元，比上一代GPU计划廉价82%。那个数字正在SaaS圈炸了锅落地是过去一年，良多AI SaaS公司毛利被推理账单吃掉三成以上的。那款AI SaaS芯片没有走通用门路，把Transformer的留神力和前馈汇集固化正在硅片里。现场演示中。
一家做智能客服的推理态战SaaS厂商把统一套模子迁移过去，呼应提早800毫秒降还有120毫秒，并发路数翻了六倍。该厂商CTO私自说，他们最看重的是单卡功耗75瓦，风冷机柜就能塞进去。
不中迁移花了三周本钱，重写了四十多个算子。AI SaaS芯片忽然热起来的，背后是SaaS公司对算力账单的忍耐到了极限。通用GPU跑推理，操做率经常不到三成毛生，忙置的隐存和功耗尽是本钱。公用芯片把矩阵乘法做成硬连线。能效比能拉高四到五倍。价格也较着，模子机关一变了，芯片就可能跑不动才刚。某头部SaaS企业架构师告诉我，他们暂时只把非中心开业放上去试水，中心举荐模子还正在GPU上的。
我跑过几家芯片草创公司吧？发明一个风趣现象。
做AI SaaS芯片的团队，一半以上来自互联网年夜厂的SaaS部门，但不是传统的芯片厂。他们更懂SaaS客户要什么是就是每块钱能跑几token啊？以及能不能按周扩容。那种需求倒逼芯片设念从“拼参数”转背“拼账单”的。生态壁垒仍然挺拔，CUDA的护城河不是靠一款芯片就能挖平。接下来十二个月，会有更多AI SaaS芯片流片了。谁能闪开发人员无感迁移啊？谁就能切走SaaS推理市场最肥的一块啊？
至于那些还正在用通用GPU硬扛的SaaS公司，账单会替他们做选择的。
