AI 秀

日日新SenseNova是商汤科技推出的一系列多模态融合大模型，旨在通过强大的多模态处理能力，实现文本、图像、视频等多种信息的原生融合，突破传统模型的限制。

核心功能

1. 多模态深度推理：
   • 支持最长64K思维链的深度推理，涵盖文本、图像、视频等多模态数据，可处理复杂任务，如保险理赔材料审核、数学解题等。
   • 在多模态任务中表现卓越，例如在MMBench、MMStar等评测中均取得领先成绩。
2. 全局记忆与长视频解析：
   • 支持10分钟级视频全帧率解析，具备全局记忆能力，可保留关键语义。
   • 能够对中长视频进行推理和解析，精准回答关于视频内容的问题。
3. 实时交互能力：
   • SenseNova V6 Omni提供极致的实时交互体验，支持角色扮演、翻译点读、文旅导游、绘本讲解、数学讲解等场景。
4. 高效能与低成本：
   • 多模态训练整体效率对齐语言训练，推理成本实现业界最低，支持企业低成本部署。

技术原理

1. 原生多模态融合训练技术：
   • 将文本、图像、视频、音频等多种模态信息在模型架构和训练过程中深度融合，避免传统方法中增强某一模态能力导致另一模态能力下降的问题。
2. 多模态长思维链合成技术：
   • 基于多智能体协作，实现超长思维链的生成与验证，让模型具备长时间、多步骤的深度思考能力。
3. 多模态混合增强学习：
   • 基于人类偏好的RLHF和基于确定性答案的RFT，平衡模型的逻辑推理能力和情感表达能力。
4. 长视频统一表征和动态压缩：
   • 实现跨模态信息的高效对齐与压缩，将画面、语音、字幕、时间逻辑统一编码，形成连贯的时序表征。

版本介绍

• SenseNova V6 Pro：6200亿参数的混合专家架构模型，支持实现文本、图像和视频原生融合，对标国际主流模型。
• SenseNova V6 Reasoner Pro：具备推理能力，辅助解决复杂问题。
• SenseNova V6 Video：专精视频理解，适用于教学、文旅等场景。
• SenseNova V6 Omni：轻量级全模态交互模型，提供实时互动体验。

应用场景

1. 教育辅导：
   • 识别手写体，为小朋友辅导数学题，提供一对一的引导式讲解。
2. 视频处理与分析：
   • 支持对中长视频进行推理和解析，能够高效地提取视频中的关键信息。
3. 语音识别与合成：
   • 结合语音和自然语言处理能力，提升交互体验，如在语音客服、在线教育等场景中应用。
4. 数据分析与决策支持：
   • 可以分析数据图表中的信息，提取关键要素，为用户提供决策支持。
5. 具身智能：
   • 让机器人具备更强的感知和交互能力。

数据统计