第一百六十七章 五十条
从数据室回来,陆衍又补了六条。
其中四条是在地铁上想到的——冯树的那个项目触发了一些记忆,他在手机备忘录里记了关键词,回到家对照着三年前的笔记重新整理,有两条他以为记不清了,但打开备忘录后记起来了,结构完整,可以用。
周四下午五点,「找到的矛盾」文档里有五十条。
他发给豆包:「五十条了。」
豆包:「可以发给卫越了。」
「但数据室那三条还没核实,」陆衍说,「我只是发现了矛盾形式,没有确认这三条在那个项目里是真实的问题。」
豆包:「这不影响作为训练数据。这些案例的用途是教模型识别矛盾的形式,不是教它判断某个具体项目里这条是不是真的问题——判断是使用者的责任,模型的任务是发现和提示。」
陆衍看了这段话,在本子上写了一行:「工具的任务是「发现和提示」,判断是人的。」
然后他打开五十条,把数据室那三条单独标注了一下,在字段里加了「待核实-非完整案例」,然后整理成发送格式。
周四晚上九点,他发给卫越:
「整理好了,五十条,比上次多了二十七条,补了合同修订类和技术评估类。其中三条是这周真实项目里发现的,还没有完成核实,标了注释,你可以先跑跑看整体结构。」
卫越下午在工作,发消息通常有延迟,陆衍没有等,把手机放下,去睡了。

周五早上醒来,收件箱里有卫越发来的消息,时间戳是凌晨两点半:
「跑了,结果不一样了,附图,我们要打电话吗?」
陆衍把截图打开。
五十条的准确率比二十三条高出了一些——总体从百分之七十一到了百分之七十四,不是大幅跳升。但他一看子类的分布,发现问题不在总数字上。
认证类的准确率是百分之八十一。
合同类的准确率是百分之五十九。
技术评估报告类是百分之六十七。
差距这么大,他看了一会儿。
发给豆包:「同一个文件类型组合的准确率差了二十多个点,为什么?」
豆包:「这说明三类的时序约束逻辑不同,认证类的约束形式在你的案例里写得清楚,模型能学到;合同类的约束形式复杂,可能需要更多案例,或者更精细的字段描述。另一种可能是字段定义本身有歧义,合同类的「更新时间」和「生效时间」有时候是同一件事,有时候不是,这种歧义会让模型的学习信号变成噪声。」
他回复卫越:「可以打,今天几点方便?」

卫越:「下午三点。」
下午三点,视频通话。
卫越开场没有从总准确率说起,直接点了那张图:「我看这个结果,不是说跑得好不好——我在想三类结果为什么差这么多。」
「认证类你发的案例写得细,」卫越说,「你看第14条到第22条,时序约束关系,文件类型A,文件类型B,关键字段,逻辑关系,都填了。但合同类有一半,字段描述是简化的,逻辑关系里用了「可能」「不确定」——」
他截了一下屏,陆衍看到自己写的一条:「主合同第7条引用「现行有效版本」,签订时有效版本为V1,三年后续签有补充协议,V1在期间有更新,更新时间不明,可能在补充协议签订前,也可能在后——逻辑关系:不确定。」
「这条,」卫越说,「「不确定」这个标注,模型学不到什么。」
陆衍看着这条想了一下。
「这条我当时确实不确定,」他说,「有时候我看到这类情况,我能判断是有问题的,但判断的依据不是时序,是经验——我知道这个修订通常会带来后续麻烦,但我说不清楚为什么。」
卫越安静了两秒,「对,」他说,「这就是为什么这件事难做,有些你「知道」但说不出来的东西,不能当成训练信号。」
陆衍在桌子上翻了翻,找到本子。
「那合同类的这些不确定条目,」他说,「有两个选择:一,我去把那些案例的判断依据找出来,哪怕费点时间,把逻辑关系写清楚;二,先不管合同类,把认证类和技术评估类做到准确率足够高,先有一个能用的范围,再扩展。」

卫越没有立刻回答。
他转过屏幕,让陆衍看他后面白板上的一张图——是一个坐标,横轴是案例质量,纵轴是案例数量,他画了一条曲线,表示准确率随两个维度的变化趋势。
「我在想,」卫越说,「这两个选择,哪个到「能用」更快。」
「你的判断是什么?」陆衍问。
「先缩范围,」卫越说,「做成认证类专用,跑到百分之八十五,这比跑一个泛用的百分之七十更有用——有边界的工具,比没边界的工具更容易让人信任。」
这句话陆衍听进去了。
「有边界的工具,比没边界的工具更容易让人信任,」他重复了一遍,「对。」
卫越:「但有一件事我用文字说不清楚,要当面。」
陆衍看了一眼屏幕,「什么事?」
「不是某一条具体的问题,」卫越说,「是我在跑这个结果的时候,想到了一个关于文件结构的假设——你的案例里面,同类型的矛盾,在不同行业、不同监管背景下,约束关系的方向有没有差别?」
「如果有,」卫越说,「这不是一个参数,是一个输入维度。」

陆衍把这句话消化了一会儿,「你是说,我要不要在字段里加「行业」或者「监管框架」这个维度?」
「对,但我不确定怎么加,」卫越说,「你有三年经历,我有代码,这件事,当面说二十分钟可能比发消息说两天更快。」
陆衍看了一下日历。
「周六,」他说,「你在哪里?」
「上海,浦东,」卫越说。
「我在徐汇,」陆衍说,「定一个中间的地方,你来定。」
「好,」卫越说,「我发你。」
通话挂了之后,陆衍把本子翻到最新一页,在顶上写:
「行业/监管框架——是不是一个输入维度?」
然后在下面写:「周六,第一次见面。」