第一百七十章 结果
周三下午,陆衍在窗边翻一本书,没怎么看进去。
手机屏幕亮了一下,是卫越:「结果出来了,我发你截图。」
他把书放到桌上,走过去坐下。
截图到的时候是一张横向的柱状图,背景是白底,三条柱子,各有标注:
high-constraint认证类:87.3%
medium-constraint认证类:65.1%
low-constraint认证类:52.4%
原来的版本,所有认证类放一起,准确率是81%。现在high那条比原来的整体数字高,medium基本平,low比原来还低了几个点——因为原来把low和high混在一起,high拉高了整体,现在分开跑,low的表现直接暴露出来了。
陆衍看了这三个数字,在本子上写下来,然后等了一下,发给豆包:「这三个数字说明什么?」
豆包的回复比平时慢了几秒:
「说明「约束强度」维度对high-constraint类有效:模型拿到这个字段之后,能更精确地判断版本跳号、签字缺失等矛盾的严重性,准确率从81%升到87%,提升6个百分点,是显著的。」
「medium-constraint类基本没动,说明中等约束场景下,这个字段提供的信息对当前模型的判断影响有限——可能因为medium场景的矛盾权重本身就不太确定,这个字段没有缩小歧义空间。」

「low-constraint类准确率更低,说明low类的矛盾,判断逻辑可能不依赖约束框架——在低约束场景里,矛盾的严重性不是由「框架要不要求」决定的,是由别的因素决定的,比如矛盾出现的时间节点、涉及的金额范围、双方是否有书面确认。这些是字段「constraint_level」没有覆盖到的信息。」
陆衍把豆包这几段话读了两遍,在本子上写了一行:
「low类矛盾的权重,不在框架,在上下文。」
然后停了一会儿,在下面加了一行:
「需要另一个字段。」
卫越那边没有等他主动问,二十分钟后发来一条:
「我在看low类那几个案例——发现一个规律,这些矛盾大多数是「文件日期」类的,就是A文件的日期比B文件的早,但按照合同逻辑,A应该在B之后才签。这类矛盾,问题不是「版本控制框架有没有要求」,问题是「合同时序对不对」——约束来自合同文本,不是行业规范。」
他在最后发了一条:「下一个字段,考虑「矛盾类型」?比如「时序-文件日期」「时序-版本号」「时序-签字顺序」这类分类。」
陆衍看完,把这几个词在本子上写下来,然后回了卫越:「你发的这几个例子,我的案例库里也有类似的。但「矛盾类型」作为枚举,词表怎么定?」
卫越停了一下,回:「先不急,这周我把high类的模型再看一遍,看能不能再往上推两个点,然后下周我们再讨论第二个字段的词表——你那边有没有机会拿真实数据跑一遍改版之后的?」
这个问题陆衍前两天就在想了。
他把卫越的消息放着,拨了冯树的电话。

「我问你,M-07那个项目,下次你还有机会进数据室是什么时候?」
冯树沉了一下,「你说的M-07……你上次进去那个?还有一个月左右的尽调期,理论上还能进两次。下周四可能有一次——怎么了?」
「我上次进去发现的那几条,」陆衍说,「是靠人工看的。现在我们在测一个工具版本,想看看用工具跑同一个数据室,会不会发现更多,或者少发现——你愿意的话,我下周四跟你进去带着工具再跑一遍。」
「你说的工具,是你们那个?」
「是,」陆衍说,「你不需要配合什么,我就是拿数据跑,结果发你,你参考用。」
冯树在电话里想了几秒,「成,下周四。不过你进去之后别动文件,我那边有合规程序,你只能看,不能复制或者带走——」
「我知道,」陆衍说,「我上次就是只看的。」
「行,那下周四你来找我,我带你进。」
挂了电话,陆衍把电话放在桌上,在本子的下周那一栏里写:
「下周四·M-07·带v2版本进场」
然后翻回到卫越发来的那张截图,把三个准确率数字再看了一遍。
high 87.3。

他想,这个数字是真实的——从81到87,没什么花头,是加了一个字段之后模型确实在那类矛盾上的判断准确了一些。不是大突破,是小验证。
small validation is still validation。
他把这行英文写在本子最下边,没有翻译它,因为翻译成中文的话好像显得太正式了。
晚饭之后,他又坐下来,把豆包说的「low类矛盾的权重不在框架,在上下文」这一行读了几遍。
这里有一个更深的问题:「上下文」是什么意思?
在一个尽调数据室里,低约束场景的矛盾——合同日期错位,签字顺序颠倒,参考文件比引用它的文件出现得晚——这些矛盾,它的严重性取决于什么?
他想了一下,给豆包发了一条:「低约束场景里,矛盾的严重性,你觉得主要受哪些因素影响?」
豆包:「主要是三个:一,矛盾是否可以有合理解释——比如日期错位是因为双方在不同时区分别签字,这类情况有合理解释,严重性低;二,矛盾是否影响合同效力——比如签字顺序颠倒如果违反了合同条款里的明确约定,那严重性高;三,矛盾是否是孤例或者系统性出现——孤例可能是操作失误,系统性出现可能是刻意的。」
陆衍把这三条写下来,在旁边标注「→ 第二个字段的候选维度」。
然后他想,这三条里面,有没有哪一条是可以从文件本身读出来的?
「是否可以有合理解释」——这需要上下文知识,文件里不一定有。
「是否影响合同效力」——需要理解合同条款,理论上可以从文件读,但解读需要法律知识。

「是否系统性出现」——这个可以从数据里判断,如果同一类矛盾在多个文件里出现,就是系统性的。
他把最后一条圈出来,在旁边写:「这个,工具可以做。」
台灯开着,窗外没有声音。
陆衍在本子最后翻到一张新页,写了下周的任务:
「1. 等卫越把high类再优化一轮」
「2. 下周四M-07,带v2版本,在真实数据室里跑一遍,看结果」
「3. 整理「低约束场景矛盾系统性出现」的检测逻辑,发给卫越讨论」
「4. 第二个字段:「时序矛盾类型」or「矛盾系统性标识」——下周讨论」
他把笔盖上,把本子合起来。
从一个「监管框架」维度开始,现在已经推出了下一个问题的轮廓。每次往前推一点,就多一个新的不知道。
这大概就是怎么回事。