项目所在地:北京市
为便于供应商了解采购信息,根据《物资服务集中采购需求管理暂行办法》等有关规定,现将评测数据集与工具软件的采购意向公开如下:
| 序号 | 采购项目名称 | 需求概况 | 初步技术参数 | 预算金额(万元) | 预计采购时间 | 备注 |
|---|---|---|---|---|---|---|
| 1 | 评测数据集与工具软件 | 采购内容:(1)系统软件1套,形成“评测数据集与工具软件”,采用B/S架构,包含统一门户与专项评测工具集、指标体系数据集管理、数据集标注与审核、数据质量质检、模型接入与测评执行功能。 (2)指标体系1套,形成大模型能力评测指标体系,至少包含通用基础能力、垂直场景能力等的指标体系及配套评分方法与规则。 (3)测评数据集1套,交付不少于8000条可用样本,覆盖典型8大垂直场景,其中每类垂直场景中的测评数据样本不少于1000条。 (4)文档资料1套,形成需求规格说明、系统设计、部署手册、用户手册、测试报告、数据集说明、指标体系说明。 采购数量:1项 主要功能或目标:项目建设评测数据集与工具软件,构建覆盖指标体系、测评数据集、模型接入、任务执行、自动评分、人工复核、可视化分析、报告归档的全流程闭环能力,支撑大模型选型对比、专项摸底、上线验收、版本复测及风险排查,形成可量化、可追溯、可复用的标准化测评结论。 需满足的要求:项目建设边界聚焦测评管理软件、专项评测工具、指标体系与数据集建设,不包含大模型训练及通用算力平台;模型推理服务采用标准化接口接入,兼容本地部署与第三方API模型。 | 统一门户与专项评测工具是测评工作的入口和组织实施界面,承担项目创建、项目查询、用户角色、可视化大屏、任务编排、结果归档、报告生成等接口能力,面向管理人员提供项目管理、系统管理、测评可视化、测评任务管理和结果管理。 指标体系与数据集管理模块负责指标、权重、评分规则、题库和测评包的统一管理,包括指标配置、指标版本、题库导入、样本检索、样本调用、数据集发布、隐藏集授权。 数据集标注与审核模块负责样本标注、初审复核、退回修改和专家仲裁,包括标注任务下发、标注结果提交、审核退回、专家仲裁、标注日志、人员绩效。 数据质量质检模块负责对样本质量、标注质量和合规安全进行质检,包括质检任务创建、质检规则调用、质检结果反馈、问题样本回流、质检报告。 模型接入与测评执行模块负责模型注册、模型调用、任务启动、评分规则调用、人工复核和任务状态管理,包括模型注册、模型调用、测评任务启动、评分规则调用、人工复核、任务状态。 结果分析与报告模块负责结果查询、指标汇总、能力画像、风险清单、榜单发布和报告导出,包括结果查询、指标汇总、能力画像、风险清单、榜单发布、报告导出。 系统管理与安全审计模块贯穿全流程提供身份、权限、配置、审计、备份和运行监控支撑,包括单点登录、权限校验、审计日志、配置维护、备份恢复、运行监控。 | 216.48 | 2026年09月 | 无 |
注:1.本次意向公开的采购意向仅作为供应商了解初步采购安排的参考,采购项目具体情况以最终发布的采购公告和采购文件为准;
2.供应商可以通过采购平台反馈参与意向和意见建议。
联系人:点击登录查看
联系方式:****
当前位置:









