中国信息通信研究院自2018年启动人工智能第三方评测工作以来,针对产业实际问题,建设权威的测试数据集和软硬件环境,牵头完成人工智能评测标准体系,其中牵头起草的ITU-T F.748.11(2020)是国际首个AI芯片评测标准。经过三年的发展,形成了产品服务评测、应用成熟度评测和可信风险评估三位一体的“可信AI评测”体系,累计为73家企业提供了178次测试服务。
可信AI评测分为:产品服务测试、应用成熟度评测和可信风险评估。其中,产品服务测试提供人工智能芯片、人工智能开发平台、语音识别、语音合成、声纹识别、自然语言处理、智能语音客服、智能文本客服、语音客服智能质检产品、智能语音交互产品(音箱、智慧屏等)、车载语音交互系统、机器翻译产品、OCR产品、智能家用摄像头、工业级智能摄像头 、RPA系统和工具能力、数字人、深度伪造视频检测平台、智能推荐服务系统等产品功能和性能评测服务;应用成熟度评测提供新闻信息行业智能推荐服务能力评估;可信风险评估提供商用AI系统可信评估、有害信息内容识别、文本内容安全、图像内容安全、视频内容安全、语音内容安全等评测服务。