一、硬件要求 1、CPU处理器:配置≥4颗国产ARM架构处理器,单颗CPU物理核数≥48核,CPU主频≥2.6GHz; 2、AI处理器:配置≥8颗国产AI处理器,单处理器算力≥280TFlops@FP16,单处理器显存≥64GB HBM;AI处理器间支持full mesh全互联; 3、内存:配置≥24根64GB DDR4内存; 4、硬盘:配置≥5块3.84T NVMe SSD硬盘; 5、阵列卡:配置≥1张独立RAID卡,Raid卡需采用国产自主可控芯片; 6、网卡:配置≥4个25GE光口(含多模光模块),配置≥8个200GE端口; 7、维保:提供三年标准维保; 8、具有BMC管理系统支持国产自研管理芯片; 9、CPU和AI处理器使用同厂家国产自研芯片; 10、支持AI处理器直出200GE光。 二、软件平台要求 1、适用于Linux操作系统进行部署; 2、支持x86和arm架构; 3、能够适配CUDA架构(如NAVIDA)和CANN架构(如Ascend)显卡; 4、支持集群化和容器化,支持横向扩展; 5、提供集群资源监控界面,用于监控算力资源使用情况; 6、具备私域微调数据的生成和上传能力,可用于SFT微调; 7、具备SFT无代码微调能力,创建微调任务时,支持可视化的配置基础模型、训练方法、模型参数、数据集、资源信息; 8、具备不同租户下推理资源隔离能力; 9、支持CMMLU、BFCL的测评能力,新开源模型或内部微调训练模型可以进行标准能力测评; 10、具备测评结果报告输出能力,用于横向比较模型能力; 11、支持word excel pdf png mp3 mp4 等多种文件类型上传或同步,也支持内外部网站页面接入,并能够成功召回和使用; 12、高阶知识治理功能,平台应支持复杂文档的版面识别,导入后能够自动拆分文本、图片、表格、公式等模块; 13、支持文档切分方式和算法可选择、切分参数可配置; 14、支持对接MySQL SQLServer Oracle Postgre HadoopHive等数据库,从数据库里通过生成SQL进行查询; 15、在应用端提供内容审查能力,如涉及到敏感信息应及时识别并提醒、脱敏或拒止。 三、服务要求 1、软、硬件保修三年; 2、安排专业调试人员、测试工具,开展软件测试支撑工作、大模型训练,并持续维护服务器稳定运行。在技术服务期限(三年)内提供及时的响应服务,做到“2小时内响应,8小时内解决问题”。 |