凤凰网科技讯 3月27日，北京功夫周四凌晨，阿里巴巴颁布通义千问系列的最新旗舰模型Qwen2.5-Omni
。这款端到端多模态模型专为宽泛的多模态感知设计，可能处置文本、图像、音频和视频等多种输入，同时可能通过天生文本和合成语音提供实时流式响应
。

据“通义千问Qwen”官方微信号介绍，这款模型的重要特点如下：

全能创新架构：Qwen团队提出了一种全新的Thinker-Talker架构，这是一种端到端的多模态模型，旨在支持文本/图像/音频/视频的跨模态理解，同时以流式方式天生文本和天然语音响应
。Qwen提出了一种新的地位编码技术，称为TMRoPE（Time-aligned Multimodal RoPE），通过功夫轴对齐实现视频与音频输入的精准同步
。

实时音视频交互：架构旨在支持齐全实时交互，支持分块输入和即时输出
。

天然流畅的语音天生：在语音天生的天然性和不变性方面超过了很多现有的流式和非流式代替规划
。

全模态机能优势：在一致规模的单模态模型进行基准测试时，阐发出卓越的机能
。Qwen2.5-Omni在音频能力上优于类似大幼的Qwen2-Audio，并与Qwen2.5-VL-7B维持一致水平
。

卓越的端到端语音指令追随能力：Qwen2.5-Omni在端到端语音指令追随方面阐发出与文本输入处置相媲美的成效，在MMLU通用知识理解和GSM8K数学推理等基准测试中阐发优异
。

Qwen2.5-Omni选取Thinker-Talker双核架构
。Thinker？槿缤竽，掌管处置文本、音频、视频等多模态输入，天生高层语义表征及对应文本内容
；Talker ？樵蚶嗨品⑸鞴，以流式方式接管 Thinker实时输出的语义表征与文本，流畅合成离散语音单元
。Thinker 基于 Transformer 解码器架构，融合音频/图像编码器进行特点提

；Talker则选取双轨自回归 Transformer 解码器设计，在训练和推理过程中直接接管来自 Thinker 的高维表征，并共享全数汗青高低文信息，形成端到端的统一模型架构
。

模型机能方面，Qwen2.5-Omni在蕴含图像，音频，音视频等各类模态下的阐发都优于类似大幼的单模态模型以及封关源模型，例如Qwen2.5-VL-7B、Qwen2-Audio和Gemini-1.5-pro
。

在多模态工作OmniBench，Qwen2.5-Omni达到了SOTA的阐发
。此表，在单模态工作中，Qwen2.5-Omni在多个领域中阐发优异，蕴含语音鉴别（Common Voice）、翻译（CoVoST2）、音坡讽解（MMAU）、图像推理（MMMU、MMStar）、视坡讽解（MVBench）以及语音天生（Seed-tts-eval和主观天然听感）
。

该模型现已在 Hugging Face、ModelScope、DashScope 和 GitHub上开源盛开
。