大模型通才来了！百川智能全模态模型亮相实力碾压GPT-4o mini

能够看出，百川智能动作邦产大模子的明星玩家，正在模子自身的时间研究以及深耕医疗行业落地上正勇往直前。

起首，该模子最超过的特征便是具有一共的通晓和天生技能，既征求对文本、图像、视频、音频全模态内容的通晓，还接济文本、音频的双模态天生。

图片的通晓层面，Baichuan-Omni-1.5正在MMBench-dev、MM-Vet等通用图片评测中，此中通用测试集MM-Vet界说了识别、OCR、常识、说话天生、空间感知和数学策动六大焦点VL技能，对待模子本能的显示大白较为一共。图片的通晓层面，Baichuan-Omni-1.5正在MMBench-dev、TextVQA val等通用图片评测中领先领先GPT-4o mini。

值得一提的是，除了通用文本、图像、音视频技能外，百川智能的全模态模子更是正在医疗赛道上一骑绝尘。医疗图片评测数据集GMAI-MMBench、Openmm-Medical的结果显示，该模子依然大幅超越GPT-4o mini。

视频通晓层面，百川智能对该模子正在编码器、教练数据和教练本事等众个合节症结举行了深远优化，其完全本能同样大幅领先GPT-4o-mini。

综上，Baichuan-Omni-1.5不只正在通用技能上完全超越GPT4o-mini，而且完成了全模态通晓、天生的联合。

OpenMM-Medical用于评估模子的医疗众模态技能，蕴涵了来自42个公然医学图像的数据集，如ACRIMA（眼底图像）、BioMediTech（显微镜图像）和CoronaHack（X 射线张图像。

OpenAudioBench则用于高效评估模子“智商”，蕴涵5个音频端到端通晓子评测集的平台，此中4个来自公然评测集（Llama Question、WEB QA、TriviaQA、AlpacaEval），又有1个是百川自修的语音逻辑推理评测集，该自修评测集共有2701条数据。

连续以还，百川智能正在蓬勃邦内开源生态上都饰演着紧急脚色。这类开源模子评测数据集为研商职员和开垦者供给了联合的圭臬数据，便当其对区别模子的本能举行客观、平允的评估，同样有助于催生一系列新的说话通晓算法和模子架构。

从简单模态模子到众模态交融，再到全模态模子的进阶，这一时间发达过程为完成模子正在千行百业落地利用供给了更众或者性。

然而，跟着AI时间的连接发达，何如完成通晓和天生的联合，已然成为当下众模态周围研商的一大热门与难点题目。

一方面，通晓和天生的联合使得模子能效仿人类交互方法，让策动机与人类的疏通尤其自然、高效，这也是通用人工智能（AGI）完成的合节症结；另一方面，区别模态的数据正在特点暗示、数据机合和语义内在等方面区别伟大，很难做到既能有用地提取众模态特点，又能完成跨模态的新闻交互和交融，这也被业界公以为教练全模态模子的最大困难之一。此次Baichuan-Omni-1.5的宣告，意味着百川智能该当依然找到清晰决上述困难的有用道途。

教练全模态模子的经过中，为处理全模态模子“降智”困难，其研商团队从模子机合、教练计谋以及教练数据等众方面举行了全流程的深度优化，真正完成了通晓天生联合。

起首是模子机合方面，模子输入局限接济各样模态通过相应的Encoder/Tokenizer输入到大型说话模子中；输出局限则采用了文本-音频交织输出的打算，此中Text Tokenizer和Audio Decoder能够同时天生文本和音频。

此中，Audio Tokenizer由OpenAI宣告的开源语音识别翻译模子Whisper增量教练而来，同时具备高级语义抽取和高保真重修音频技能。

为了让模子通晓肆意分袂率图片，Baichuan-Omni-1.5还引入了能措置最高分袂率可达4K且接济众图推理的NaViT，使得该模子能一共提取图片新闻，无误通晓图片上的内容。

其次是数据层面，百川智能构修了蕴涵3.4亿条高质地图片/视频-文本数据和近100万小时音频数据的伟大数据库，并运用1700万条全模态数据举行了SFT（监视微调）。

与其余模子的数据区别，全模态模子不只数据要充足，还需求更众元化的交织数据。通常而言，实际生涯中的新闻日常以众种模态同时大白，且区别模态的数据蕴涵互补的新闻，这类众模态数据的交融有助于模子练习到更通用的形式和顺序，加强其泛化技能，这也是构修全模态模子的合节之一。

为了加紧跨模态通晓技能，百川智能还构修了高质地的视觉-音频-文本交织数据，运用1600万图文、30万纯文本、40万音频数据以及跨模态数据对模子举行对齐。而且为了让模子或许同时完成ASR、TTS、音色切换和音频端到端问答，正在对齐数据中还特意构修了相应工作的数据。

其教练经过合键分为四个阶段，第一阶段以图文教练为主，第二阶段加众音频预教练，第三阶段参预视频数据，最终一个阶段是对齐阶段，最终完成模子对待全模态内容的通晓。

正在此基本上，Baichuan-Omni-1.5的技能比拟于简单的大说话模子或者众模态模子，完成了质的奔腾。

Baichuan-Omni-1.5的宣告标识着AI正正在从模子技能向落地利用对象发达，此前，模子技能众注重于说话通晓、图像识别等基本技能的加强，这一模子壮健的众模态交融技能，将会让时间与实质场景之间联络更为密切。

百川智能一方面提拔了模子正在说话、视觉、音频等众模态新闻措置上的技能，使其或许应对更庞杂、更众样的工作；另一方面全模态模子壮健的通晓、天生技能，正在医疗行业能够用于辅助大夫诊断，提升诊断无误性和效力等，对待将AI落地到医疗场景也短长常有益的研究。