哈哈小说
第 8 卷 · 把电搬下来 · 第 167 章 · 55 段 · 1780 字

五十条

第一百六十七章 五十条

从数据室回来,陆衍又补了六条。

其中四条是在地铁上想到的——冯树的那个项目触发了一些记忆,他在手机备忘录里记了关键词,回到家对照着三年前的笔记重新整理,有两条他以为记不清了,但打开备忘录后记起来了,结构完整,可以用。

周四下午五点,「找到的矛盾」文档里有五十条。

他发给豆包:「五十条了。」

豆包:「可以发给卫越了。」

「但数据室那三条还没核实,」陆衍说,「我只是发现了矛盾形式,没有确认这三条在那个项目里是真实的问题。」

豆包:「这不影响作为训练数据。这些案例的用途是教模型识别矛盾的形式,不是教它判断某个具体项目里这条是不是真的问题——判断是使用者的责任,模型的任务是发现和提示。」

陆衍看了这段话,在本子上写了一行:「工具的任务是「发现和提示」,判断是人的。」

然后他打开五十条,把数据室那三条单独标注了一下,在字段里加了「待核实-非完整案例」,然后整理成发送格式。


周四晚上九点,他发给卫越:

「整理好了,五十条,比上次多了二十七条,补了合同修订类和技术评估类。其中三条是这周真实项目里发现的,还没有完成核实,标了注释,你可以先跑跑看整体结构。」

卫越下午在工作,发消息通常有延迟,陆衍没有等,把手机放下,去睡了。

插图

周五早上醒来,收件箱里有卫越发来的消息,时间戳是凌晨两点半:

「跑了,结果不一样了,附图,我们要打电话吗?」


陆衍把截图打开。

五十条的准确率比二十三条高出了一些——总体从百分之七十一到了百分之七十四,不是大幅跳升。但他一看子类的分布,发现问题不在总数字上。

认证类的准确率是百分之八十一。

合同类的准确率是百分之五十九。

技术评估报告类是百分之六十七。

差距这么大,他看了一会儿。

发给豆包:「同一个文件类型组合的准确率差了二十多个点,为什么?」

豆包:「这说明三类的时序约束逻辑不同,认证类的约束形式在你的案例里写得清楚,模型能学到;合同类的约束形式复杂,可能需要更多案例,或者更精细的字段描述。另一种可能是字段定义本身有歧义,合同类的「更新时间」和「生效时间」有时候是同一件事,有时候不是,这种歧义会让模型的学习信号变成噪声。」

他回复卫越:「可以打,今天几点方便?」

插图

卫越:「下午三点。」


下午三点,视频通话。

卫越开场没有从总准确率说起,直接点了那张图:「我看这个结果,不是说跑得好不好——我在想三类结果为什么差这么多。」

「认证类你发的案例写得细,」卫越说,「你看第14条到第22条,时序约束关系,文件类型A,文件类型B,关键字段,逻辑关系,都填了。但合同类有一半,字段描述是简化的,逻辑关系里用了「可能」「不确定」——」

他截了一下屏,陆衍看到自己写的一条:「主合同第7条引用「现行有效版本」,签订时有效版本为V1,三年后续签有补充协议,V1在期间有更新,更新时间不明,可能在补充协议签订前,也可能在后——逻辑关系:不确定。」

「这条,」卫越说,「「不确定」这个标注,模型学不到什么。」

陆衍看着这条想了一下。

「这条我当时确实不确定,」他说,「有时候我看到这类情况,我能判断是有问题的,但判断的依据不是时序,是经验——我知道这个修订通常会带来后续麻烦,但我说不清楚为什么。」

卫越安静了两秒,「对,」他说,「这就是为什么这件事难做,有些你「知道」但说不出来的东西,不能当成训练信号。」


陆衍在桌子上翻了翻,找到本子。

「那合同类的这些不确定条目,」他说,「有两个选择:一,我去把那些案例的判断依据找出来,哪怕费点时间,把逻辑关系写清楚;二,先不管合同类,把认证类和技术评估类做到准确率足够高,先有一个能用的范围,再扩展。」

插图

卫越没有立刻回答。

他转过屏幕,让陆衍看他后面白板上的一张图——是一个坐标,横轴是案例质量,纵轴是案例数量,他画了一条曲线,表示准确率随两个维度的变化趋势。

「我在想,」卫越说,「这两个选择,哪个到「能用」更快。」

「你的判断是什么?」陆衍问。

「先缩范围,」卫越说,「做成认证类专用,跑到百分之八十五,这比跑一个泛用的百分之七十更有用——有边界的工具,比没边界的工具更容易让人信任。」

这句话陆衍听进去了。

「有边界的工具,比没边界的工具更容易让人信任,」他重复了一遍,「对。」

卫越:「但有一件事我用文字说不清楚,要当面。」


陆衍看了一眼屏幕,「什么事?」

「不是某一条具体的问题,」卫越说,「是我在跑这个结果的时候,想到了一个关于文件结构的假设——你的案例里面,同类型的矛盾,在不同行业、不同监管背景下,约束关系的方向有没有差别?」

「如果有,」卫越说,「这不是一个参数,是一个输入维度。」

插图

陆衍把这句话消化了一会儿,「你是说,我要不要在字段里加「行业」或者「监管框架」这个维度?」

「对,但我不确定怎么加,」卫越说,「你有三年经历,我有代码,这件事,当面说二十分钟可能比发消息说两天更快。」

陆衍看了一下日历。

「周六,」他说,「你在哪里?」

「上海,浦东,」卫越说。

「我在徐汇,」陆衍说,「定一个中间的地方,你来定。」

「好,」卫越说,「我发你。」

通话挂了之后,陆衍把本子翻到最新一页,在顶上写:

「行业/监管框架——是不是一个输入维度?」

然后在下面写:「周六,第一次见面。」