哈哈小说
第 7 卷 · 造芯 · 第 114 章 · 55 段 · 2198 字

采购

第一百一十四章 采购

硬件采购单是沈默自己列的。

他发给程一帆,程一帆转给林翔廷做询价,林翔廷发现一件事:采购单上的推理加速卡,不是用量最大的那个型号,供应商那边排队等货,最快六周。

「六周,」林翔廷说,「能不能换一个更好拿到货的?」

沈默回:「不能换。」

「为什么?」

「调度层是按这个型号的内存架构写的,换了要重写,时间不会少,反而会多,」沈默说,「六周等硬件,期间把调度层代码先写完,时间不浪费。」

林翔廷拿着这个回复去找陆衍,「你觉得呢?」

「等六周,」陆衍说。


四月初,机房选址的事情提上来了。

沈默列了三家候选机房,分别是上海南汇的一家大型商业机房,浦东张江的一家中型机房,还有苏州工业园区的一家。从价格上看,南汇那家最便宜,张江中等,苏州最贵。

「你倾向于哪家?」陆衍问。

「张江,」沈默说,「但价格比南汇贵了大概二十万一年。」

插图

「为什么不选最便宜的?」

「我去看过南汇那家,」沈默说,「网络出口有一个设计,他们的上联路由走的是一条绕路的方案,从上海去北京的流量要经过一个南京的节点,这条路是他们机房建的时候的历史问题,现在改不了。对大多数客户来说这没问题,但如果你们的企业客户有在北京的,API 调用会多三到四毫秒的延迟。」

「三到四毫秒,」林翔廷说,「这听起来不大。」

「现在不大,」沈默说,「但如果两年后你们在做对延迟更敏感的场景,或者想做多地容灾,那个设计限制会成为瓶颈。」

陆衍问:「你怎么知道两年后我们会对延迟更敏感?」

沈默停了一下,「我不知道,」他说,「但如果两年后你们想往那个方向走,机房选错了改不了,硬件选错了可以换,这两件事成本不一样。」

陆衍把这句话想了一下,「这个逻辑我懂,」他说,「批张江,二十万的差价,打到基础设施建设里。」


五月,硬件陆续到货。

第一台推理节点运到张江机房的时候,沈默在现场,程一帆也在。两个人配合着上架,沈默不让机房的人帮,说「他们不知道这块卡的散热朝向有要求」,然后自己趴在机柜里做了两个小时。

程一帆在旁边看,后来忍不住问:「你以前做过这个?」

「做过,」沈默从机柜里出来,擦了一把汗,「但不是这张卡,是另一款,原理一样。」

插图

「你怎么知道散热朝向的要求?」

沈默看了他一眼,「手册上写了,」他说,「你没看手册?」

程一帆:「……我以为这种东西只有在特殊场景下才有影响。」

「在数据中心里,每一件事都是特殊场景,」沈默说,「手册写了就按手册,不写才凭经验。」


五月底,第一台推理节点上线测试。

沈默跑了一套自己写的压测脚本,测的是青舟最典型的三类推理请求:企业文档分析、知识库问答、工业调度推演。每类跑一千次,记录延迟分布。

测试结果发过来的时候,是一张表格加一段说明。

程一帆看完表格,「平均延迟比公有云低了四十个百分点,」他说,「P99 低了六十个百分点,冷启动时间……」他停了一下,「五百毫秒以内,真的做到了。」

「他说的就实现了,」陆衍说,「再看一下那段说明。」

说明只有两段:第一段是测试结论的技术解释;第二段是沈默写的一个观察:「测试中发现,工业调度推演这一类请求的内存访问模式和另外两类明显不同,如果后续这类请求的比例增加,当前的调度策略需要针对性调整。这不是紧急问题,但需要记录。」

陆衍把这段话看了一遍,给沈默发了一条:「那个调度策略的问题,你打算怎么处理?」

插图

沈默:「现在先记录,等下一个迭代版本再改,现在最重要的是把第二台和第三台节点也上线,单台节点没有容灾能力,要等三台都跑起来才是可靠的状态。」

「合理,」陆衍说,「你定节奏。」


六月底,三台推理节点全部上线。

沈默跑了一轮真实流量切换测试,把部分企业客户的 API 调用从公有云切到自建集群,观察一周,然后出了一份切换报告。

结果比测试时好:延迟更稳定,毛刺从最高十几秒降到了最高一点二秒,P99 延迟比公有云低了五十个百分点以上。

「切换顺利,」沈默的报告最后一句话是:「建议在七月底之前把全部流量迁移到自建集群,退出公有云推理实例。」

「退出公有云推理,」林翔廷看到这里,「那之后推理服务的所有成本就变成固定折旧了?」

「对,」陆衍说,「计提三年,三年内成本是固定的,不随调用量增长。」

林翔廷把数字算了一下,「如果调用量继续按现在的速度增长,」他说,「大概十四个月之后,自建的成本会比原来一直用公有云省出来第一台机器的钱。」

「十四个月,」陆衍说,「但这不是最重要的数字,最重要的是在这十四个月之后,这条路还可以走多远。」

林翔廷没有再追问,「我去推进退出公有云的手续,」他说。

插图

陆衍点了一下头,然后给沈默发了一条:「你在张江吗?」

沈默:「在,调最后的参数。」

「等晚上闲了,我有件事想跟你谈,不是关于这次集群的,是关于接下来的,」陆衍说,「你有时间吗?」

沈默:「有。」

「晚上,」陆衍说。

他合上电话,打开豆包,发了一条:「第一期自建集群上线了,下一步,我们要开始谈算力这件事更深的那一层了。」

豆包停了几秒,说:「你已经想好了要往哪个方向走?」

「差不多,」陆衍说,「但我需要一个从硬件那一侧真正懂的人,先确认我想的方向是不是能走通,再开始走。」

「那今晚的谈话,」豆包说,「是试探还是招募?」

陆衍想了一下,「两件事情,有时候是同一件事,」他说。