隨著人工智能領域的快速發展，全模態大模型的訓練、數據處理和測評已成為研究熱點。人工智能研究院楊耀東團隊、北大對齊小組近期開源的align-anything框架，為全模態大模型的對齊提供了全面的解決方案，包括訓練、數據處理和測評框架，旨在使全模態大模型與人類意圖和價值觀對齊。

該框架是一個高度模塊化、可擴展且易于使用的對齊訓練和評估框架，支持文本、圖片、視頻和音頻等多種模態的模型對齊微調。框架通過解耦模態與算法實現高度的模塊化，例如，將多模態模型的加載實現和對齊算法如DPO\GRPO的實現進行分解組合。這種設計使得框架在模態擴展時能夠復用相同的代碼，便于用戶為不同的任務修改和定制代碼。

圖1. align-anything框架的架構核心

align-anything框架不僅支持多種對齊算法，還提供了豐富的多模態評測基準，適用于多種推理后端，具有高度的靈活性和可擴展性。框架發布了一個高質量的全模態人類偏好數據集，涵蓋文本、圖片、視頻和音頻4種模態，并根據輸入與輸出的多樣性延伸至8種任務。該數據集提供了詳細的標注，包括輸入和輸出中的任意模態，旨在實現跨模態的全面評估和改進。數據集的構建過程包括從多個來源收集回答，使用目前最先進的閉源模型和專業標注人員進行細粒度的偏好標注，并針對各個模態任務特性提供有關回答的語言反饋，確保對響應進行全面評估和優化。

圖2. align-anything開源數據、算法和評測基準

在評估方面，align-anything框架支持Transformers框架和Diffusers框架，適配不同模型結構的推理需求。同時，框架還提供了使用vLLM進行推理的接口，實現推理加速。評估框架已適配超過30個常用基準測試，涵蓋多種模態類別，如Text⇒Text、Text+Image⇒Text以及Text⇒Image等。評估框架由DataLoader、Generator和Evaluator3部分組成，方便集成自定義評測集。用戶只需將新的評測集適配到DataLoader中即可完成集成。

圖3. 從語言反饋中學習的訓練流程

圖4. 從語言反饋中學習可以顯著提升全模態模型的表現

為了提升模型的指令跟隨能力，北大對齊小組提出了從語言反饋中學習的范式（LLF），通過語言反饋提取豐富的偏好信息。實驗結果表明，LLF在多種模態上均表現出積極的改進，尤其在更強大的模型上效果更顯著。基于align-anything框架，北大對齊小組對LLaMA-3.2-11B-Vision進行了指令跟隨對齊，得到了Beaver-Vision-11B模型，在多個開源評測榜上超越了Meta官方發布的指令微調版本。此外，團隊還基于Meta的Chameleon-7B模型，使用align-anything數據集進行了對齊，開源了AA-Chameleon-7B-Plus模型，顯著提升了模型的對齊性能。

align-anything框架是全模態大模型訓練、數據處理和測評的綜合解決方案，具有高度的模塊化、擴展性和易用性。通過提供高質量的數據集、豐富的算法支持和全面的評估框架，該框架為全模態大模型的研究和應用提供了有力支持。未來，北大對齊小組將繼續完善框架，推動全模態大模型的發展，為人工智能領域的研究和應用貢獻力量。

目前，該框架已于多場景應用，為智慧醫療、智慧城市和智慧教育建設提供關鍵技術支持。

楊耀東團隊與北京大學第三醫院聯合推出MedGuide-M多模態醫療大模型，整合了40余個科室、30萬份真實電子病歷、醫學影像和千萬條醫學文獻等多種數據源，構建了覆蓋6000多種疾病和2萬種藥品的知識圖譜，醫學知識覆蓋率達98%，精準率達90%以上。基于DeepSeek擴展多模態基座模型，MedGuide-M解決了醫療“最后一公里”難題，助力基層醫療標準化與智能化，為健康中國建設注入新動力。這一成果讓優質醫療資源更可及，縮小了東西部醫療差距，提升了農村醫療服務水平，展現了科技的社會價值。

此外，今年2月香港生成式人工智能研發中心發布了香港首個人工智能大模型——HKGAI V1，是業界首個基于DeepSeek-R1 671B全參數微調訓練和充分的地域價值對齊而成的大模型。北京大學人工智能研究院博士生、香港科技大學訪問學者吉嘉銘作為團隊技術骨干深度參與HKGAI V1研發，align-anything框架在HKGAI V1的全參數微調和價值觀對齊中展現出卓越性能。

同時，北大對齊小組也協同北京大學計算中心聯合部署基于DeepSeek的大模型工具，為校園智能化建設提供技術支持。該工具不僅實現功能分區的優化，還通過本地化專業知識對齊技術，更好地滿足師生需求。