BLEU测试

检测项目

1. BLEU-4综合评分(0~100分)

2. 1-gram精确率(P1≥0.7)

3. 4-gram精确率(P4≥0.3)

4. 短句惩罚因子BP(0~1.0)

5. 词汇多样性Type-Token比(≥0.4)

检测范围

1. 神经机器翻译系统：Transformer NMT

2. 大语言模型生成文本：GPT/Llama

3. 文本摘要系统：抽取式/生成式

4. 对话生成系统：开放域对话

5. 语音转文本翻译模块：Speech2Text

检测方法

1. GB/T 36344-2018 信息技术 数据质量评价指标

2. ISO/IEC 25023-2016 系统与软件质量度量测试

3. GB/T 25000.51-2016 系统与软件质量要求和评价

4. GB/T 29288-2012 机器翻译质量评估方法

5. ISO/IEC 5259-1-2024 数据质量概述

检测设备

1. 高性能计算服务器(Dell PowerEdge R760)：2×Xeon Platinum 8480

2. GPU推理服务器(NVIDIA DGX A100)：8×A100 40GB

3. 数据处理工作站(Lenovo P360)：i9-12900K 128GB

4. 网络协议分析仪(Keysight N9020B)：3Hz-26.5GHz

5. 逻辑分析仪(Keysight 16860A)：34通道 200MHz

6. 精密时间间隔仪(SRS SR620)：25ps分辨率

7. 数据记录仪(HIOKI LR8450)：1ms采样

8. 不间断电源(APC SRT6000XLI)：6kVA

9. 温湿度试验箱(Espec SH-642)：-40~150℃

10. 电磁兼容测试仪(EM TEST UCS500N)：5kV

以上是与"BLEU测试"相关的简单介绍，具体试验/检测周期、检测方法和仪器选择会根据具体的检测要求和标准而有所不同。北检检测技术研究院将根据客户需求合理的制定试验方案。