(資料圖片)
IT之家 11 月 22 日消息，科技媒體 9to5Mac 昨日（11 月 21 日）發(fā)布博文，報道稱在最新公布的研究報告中，蘋果指出大語言模型（LLM）可通過分析音頻和運動數(shù)據(jù)的文本描述，精準識別用戶活動，未來可能會應(yīng)用于 Apple Watch 上。
這項名為“后期多模態(tài)傳感器融合”（Late Multimodal Sensor Fusion）的技術(shù)，主要結(jié)合 LLM 的推理能力與傳統(tǒng)傳感器數(shù)據(jù)，即使在傳感器信息不足的情況下，也能精確判斷用戶正在進行的具體活動。
研究的核心方法頗具新意。大語言模型并未直接處理用戶的原始音頻錄音或運動數(shù)據(jù)，而是分析由專門的小型模型生成的文本描述。
具體來說，音頻模型會生成描述聲音環(huán)境的文字（如“水流聲”），而基于慣性測量單元（IMU）的運動模型則會輸出動作類型的預(yù)測文本。這種方式不僅保護了用戶隱私，還驗證了 LLM 在理解和融合多源文本信息以進行復(fù)雜推理方面的強大能力。
為驗證該方法，研究團隊使用了包含數(shù)千小時第一人稱視角視頻的 Ego4D 數(shù)據(jù)集。他們從中篩選出 12 種日?；顒樱ㄎ鼔m、烹飪、洗碗、打籃球、舉重等，每段樣本時長 20 秒。
隨后，研究人員將小模型生成的文本描述輸入給谷歌的 Gemini-2.5-pro 和阿里的 Qwen-32B 等多個大語言模型，并測試其在“零樣本”（無任何示例）和“單樣本”（提供一個示例）兩種情況下的識別準確率。
測試結(jié)果顯示，即使沒有任何針對性地訓(xùn)練，大語言模型在活動識別任務(wù)中的表現(xiàn)也遠超隨機猜測的水平，其 F1 分數(shù)（衡量精確率和召回率的指標(biāo)）表現(xiàn)優(yōu)異。當(dāng)獲得一個參考示例后，模型的準確度還會進一步提升。
這項研究表明，利用 LLM 進行后期融合，可以有效開發(fā)出強大的多模態(tài)應(yīng)用，而無需為特定場景開發(fā)專門模型，從而節(jié)省了額外的內(nèi)存和計算資源。蘋果公司還公開了實驗數(shù)據(jù)和代碼，以供其他研究者復(fù)現(xiàn)和驗證。
