AI大模型生態正在縱深演化，純文本形式的交互已經不能滿足這個世界對于智能感知的全部需求，同時還需要結合音頻、視覺、圖片等形式，于是AI企業紛紛奔赴多模態。
　　先是OpenAI在近期發布了第三代文生圖大模型DALL·E 3，可以在ChatGPT上加載使用；緊隨其后，Meta推出了多模態編碼器集合AnyMAL。
　　一系列重磅產品的推出使得多模態的討論熱度陡然上升。視線轉回國內，逐鹿大模型的互聯網巨頭及AI科技公司亦在加緊開發更多的多模態應用，進一步釋放AIGC生產力。
　　大模型生態進入下半場
　　正如業內流傳的名言，“所有行業都值得用AI重做一遍。”在大模型對各行各業進行顛覆性重構的路上，面對不同場景的交互需求，除了傳統的文本之外，還需要云服務廠商將其模態應用向圖片、語音、視頻、代碼等形式轉化。
　　但是這個過程絕非易事，看似簡單的交互背后其實是多個AI能力的綜合體現，既要能夠識別用戶需求、理解音頻視頻內容，還要轉化為用戶可以接受的形式，并給出有效反饋。
　　這其中，一大難題在于每種模態都具有特定的特征提取和分析方法，這便需要創新算法和技術來處理不同模態間的數據。以視頻形態來說，市面上一直缺乏良好的方法對于視頻場景做出充分理解，所以很多產品都只能按照某種固定邏輯生成，無法真正理解視頻元素的含義。
　　在近期微軟與OpenAI關于ChatGPT5的交流會中就談到，OpenAI將攻克的一大目標是通過對于算法底層邏輯的融合、創新，讓大模型能夠充分理解視頻內容以及各角色主體之間的關聯，從而能夠按照特定語境生成深層次的視頻內容。
　　再以音頻形態而言，不同于視頻重在對于多維信息的把握，音頻交互更為強調對情感、意圖的充分掌握，由此對于語音識別技術便提出了更高要求，即要充分捕獲情感、音色甚至是方言，從中準確地抓取關鍵信息。
　　在音頻-文本的交互領域，國內走在前沿的是百融云創，該公司自研的智能語音機器人ChatBOT基于Transformer架構搭建算法模型，對于語音識別的準確率可以達到99%以上，實現“真人級”互動體驗。同時，ChatBOT又不僅僅是聊天機器人，而是一個幫助實現端到端結果交付的智能體。ChatBOT直接關聯商業機構KPI，可以助力商業機構實現資產運營和用戶煥活流程的自動化。
　　而除了算法層面外，百融云創相關人士表示，多模態的智能交互對于模型的工程架構、響應速度、資源配置等均提出了更高要求，以文本-語音交互為例，需要依托深刻的行業理解來沉淀出高質量配對的語料，才能實現流暢、準確的用戶交互。
　　大模型能力正在加速革新
　　從趨勢上看，隨著大模型進入拼落地、拼應用的下半場，為了讓AI技術更加融入千行百業，多模態領域勢必會以更快的速度發展。
　　目前來看，多模態的主流構建思路并不是重新訓練一個大模型，而是在已經訓練好的大語言模型中“嵌入”圖像理解、語音識別等技術，也就是通過引入多模態的數據集來攻克跨領域的技術難點。例如，百融云創的產業大模型——BR-LLM便結合了NLP（自然語言處理）、智能語音等技術。
　　當然，也不乏一些科技公司嘗試基于特定需求直接訓練多模態基礎模型。根據微軟研究團隊近期在預印本平臺 arXiv 上發布的一篇文章，多模態基礎模型將沿著預訓練視覺模型和通用型助手兩條路線拓展。文章同時表示，訓練多模態基礎模型面臨若干挑戰，例如，視覺理解模型方面，不同類型的標簽注釋成本差異較大，昂貴的圖像成本可能會限制視覺數據規模。
　　但不論采取怎樣的方式，毫無疑問大模型生態下半場已經打開。業內人士認為，隨著模型能力的增強，AI應用范圍將不再局限于單一功能或者單個產品，而是會擴圍到更廣闊的應用場景。在這樣的背景下，能否快速、高效地將技術產品化，料成為決勝未來的關鍵因素。
　　百融云創相關人士表示，為了更好發揮BR-LLM的潛能，該公司基于大模型技術底座，持續推行產品革新。此前，為了讓AI技術更加深入賦能垂直場景，百融云創優化原有機器學習平臺ORCA，將其與生成式AI理念緊密結合，形成的全新產品ORCA-GPT可以利用BR-LLM的代碼生成能力，極大地降低模型產品開發部署的周期和成本。
　　同時，伴隨著與多模態發展相關的全新研究方向——“AI for Science”（AI輔助研發）逐漸嶄露頭角，百融云創率先捕捉到這一趨勢，依托BR-LLM基座，于近期推出了一款全新智能代碼生成助手——BRCoder。
　　據了解，作為一款通用的編程大模型，BRCoder以公司內部本地部署的代碼生成大模型為核心，基于海量的優質代碼預訓練，可以根據提示結合當前編輯程序文件的上下文信息，自動生成代碼，并配合IDE插件提升開發效率。
　　“BR-Coder將極大地提升程序員的開發效率，助力商業機構研發提質增效。”百融云創相關人士稱，BR-Coder不僅能生成研發代碼，還可以用于自動生成測試用例和單元測試、解答技術問題，在保障企業數據資產安全的同時，提升模型生成代碼的一次采用率。展望后續，BR-Coder會進一步增強與編譯環境的交互，為開發者提供更為全面和便捷的編程體驗。