移動終端智能及其在推薦場景的應(yīng)用

摘要：移動智能終端的應(yīng)用程序中，智能算法的使用場景日益豐富。隨著移動終端性能的逐漸增強(qiáng)，移動終端計(jì)算可以有效地彌補(bǔ)云計(jì)算的高延遲、弱隱私和算力依賴等問題。但受限于移動設(shè)備硬件多樣性，也為終端計(jì)算帶來了挑戰(zhàn)。因此，越來越多的應(yīng)用程序的技術(shù)模式采用云邊協(xié)同計(jì)算的工程體系。本文通過分析移動終端智能、端云協(xié)同的工程體系及其在推薦場景下的實(shí)例，幫助讀者了解移動端智能應(yīng)用程序的發(fā)展與應(yīng)用。

關(guān)鍵字：移動終端智能；邊緣計(jì)算；交互式推薦 ；電子商務(wù)

引言

黨的二十大報(bào)告“加快構(gòu)建新發(fā)展格局，著力推動高質(zhì)量發(fā)展”部分講道，將人工智能作為新的增長引擎，推動戰(zhàn)略性新興產(chǎn)業(yè)融合集群發(fā)展。IDC與浪潮信息聯(lián)合發(fā)布的《2022－2023中國人工智能計(jì)算力發(fā)展評估報(bào)告》[1]中指出，互聯(lián)網(wǎng)行業(yè)始終是人工智能應(yīng)用滲透度與技術(shù)研發(fā)的排頭兵，不乏頭部互聯(lián)網(wǎng)企業(yè)將自身人工智能的技術(shù)對外提供服務(wù)，助力其他企業(yè)、產(chǎn)業(yè)發(fā)展人工智能。因此，分析互聯(lián)網(wǎng)企業(yè)在實(shí)踐中的工程設(shè)計(jì)，對于人工智能在其他領(lǐng)域應(yīng)用滲透具有重要意義。

1. 云計(jì)算與邊緣計(jì)算

由于人工智能算法在訓(xùn)練過程中需要海量數(shù)據(jù)，數(shù)據(jù)的量級決定其不能由單一用戶完成，同時(shí)由于模型訓(xùn)練所需的硬件要求的限制，早期智能應(yīng)用均由云服務(wù)進(jìn)行訓(xùn)練、推理與響應(yīng)。由此，導(dǎo)致場景應(yīng)用過程受限于云端的服務(wù)算力，在高并發(fā)場景下延遲高，用戶體驗(yàn)較差。邊緣計(jì)算是指在靠近物或數(shù)據(jù)源頭的一側(cè)，采用網(wǎng)絡(luò)、計(jì)算、存儲、應(yīng)用核心能力為一體的開放平臺，就近提供智能計(jì)算服務(wù)。IDC預(yù)測2023年，將有20%的邊緣服務(wù)器用來處理AI工作負(fù)載，70%的企業(yè)將在物聯(lián)網(wǎng)邊緣運(yùn)行不同級別的數(shù)據(jù)處理。在民用場景中，普及率最高的智能移動終端滿足邊緣計(jì)算全部條件，為互聯(lián)網(wǎng)實(shí)踐移動終端邊緣計(jì)算提供了有利條件。

2. 移動終端計(jì)算的優(yōu)勢

2.1 降低計(jì)算成本，增加云服務(wù)效率

截至2021年2月，移動設(shè)備接入互聯(lián)網(wǎng)比例已高達(dá)98.7% 。2021年用于推理的服務(wù)器的市場份額占比已經(jīng)過半，達(dá)到56.7%。預(yù)計(jì)2026年，用于推理的工作負(fù)載比重將達(dá)到62.2%。不同于科研、中型企業(yè)的大規(guī)模、高密度人工智能計(jì)算，在民用場景中，便捷、低延遲的應(yīng)用場景愈發(fā)普遍。工信部的統(tǒng)計(jì)數(shù)據(jù)顯示，智能手機(jī)普及率達(dá)到了75%，其作為邊緣計(jì)算的載體可以持續(xù)分擔(dān)民用場景的云端算力緊張，端云智能的細(xì)分與協(xié)調(diào)發(fā)展將有效降低成本，提升智能計(jì)算的效率。

2.2 計(jì)算本地化，時(shí)效性增強(qiáng)

當(dāng)智能算法模型的訓(xùn)練與部署在云端進(jìn)行，業(yè)務(wù)的響應(yīng)需要通過移動終端向云側(cè)服務(wù)發(fā)起請求，由于模型的推斷需要時(shí)間，不可避免地出現(xiàn)響應(yīng)延遲的問題。如果模型推理在數(shù)據(jù)生產(chǎn)側(cè)進(jìn)行，就不需要與云端服務(wù)通信，對于用戶操作響應(yīng)延遲會大幅度降低，同時(shí)可以滿足終端設(shè)備弱網(wǎng)和離線時(shí)的應(yīng)用[2]。

2.3 數(shù)據(jù)本地化，隱私安全性高

隨著國家《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》《App違法違規(guī)收集使用個(gè)人信息行為認(rèn)定方法》對智能應(yīng)用市場的管理逐漸加強(qiáng)，愈發(fā)提升個(gè)人數(shù)據(jù)的隱私保護(hù)。全量上傳用戶終端數(shù)據(jù)到云端統(tǒng)一計(jì)算的模式在業(yè)務(wù)上具有隱私合規(guī)管控風(fēng)險(xiǎn)，通過云端協(xié)同，在應(yīng)用層將終端智能模型下載到本地，本地對用戶數(shù)據(jù)進(jìn)行推理計(jì)算，具備更高的數(shù)據(jù)安全性。

3. 端計(jì)算的挑戰(zhàn)

3.1 存儲能力的限制

移動端上進(jìn)行模型的計(jì)算涉及引擎SDK、算法模型、數(shù)據(jù)存儲、模型的轉(zhuǎn)發(fā)與壓縮和模型的管理，云端存儲單位以TB 計(jì)算，移動終端設(shè)備往往只有幾百GB存儲能力，并且需要裝載數(shù)十個(gè)應(yīng)用程序，因此對于端上模型引擎、模型與數(shù)據(jù)存儲都有明顯的存儲限制。

3.2 算力的限制

AI模型受端上包含CPU、GPU與DSP提供的處理器運(yùn)算限制，其所支持的模型大小有較高的要求。移動設(shè)備的功耗與云端服務(wù)器差異極大，因此需對模型進(jìn)行優(yōu)化。

3.3 智能設(shè)備異構(gòu)問題。

手機(jī)終端智能由硬件與軟件協(xié)同提供。硬件層面，在芯片底層提供加速計(jì)算硬件單元，加速機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)常用的矢量和張量計(jì)算；軟件層面，通過AI算法模型的接口和SDK等軟件技術(shù)，為上層應(yīng)用提供加速AI推斷過程計(jì)算的技術(shù)[3]。各芯片廠商選擇支持的深度學(xué)習(xí)框架、模型算子的差異、手機(jī)廠商的軟件封裝差異，需要應(yīng)用針對不同的手機(jī)平臺對相應(yīng)的SDK或API進(jìn)行適配，從而限制了當(dāng)前移動終端側(cè)AI應(yīng)用的快速普及。

4. 端計(jì)算與云計(jì)算的協(xié)同方式

在模型方面，端側(cè)資源與算力相對云端有限，無法支持大規(guī)模持續(xù)計(jì)算，無法支持大型模型計(jì)算。智能算法模型的訓(xùn)練需要大量的數(shù)據(jù)，端側(cè)單用戶的數(shù)據(jù)無法滿足數(shù)據(jù)量級要求，因此算法的訓(xùn)練更適合在云端使用離線數(shù)據(jù)訓(xùn)練，充分考慮應(yīng)用場景和移動端設(shè)備的情況，需將模型進(jìn)行壓縮、量化、減枝以及知識蒸餾做到模型壓縮，將模型集成到應(yīng)用程序中使推理工作在端側(cè)通過實(shí)時(shí)數(shù)據(jù)執(zhí)行推理。由此云端協(xié)作模式為云上以訓(xùn)練為主、端上以推理為主，通過模型壓縮將模型小型化后部署到端側(cè)運(yùn)行。隨著移動設(shè)備軟硬件的進(jìn)一步發(fā)展，各大互聯(lián)網(wǎng)廠商也在端上嘗試訓(xùn)練，使云側(cè)有大模型的訓(xùn)練和推斷，端側(cè)也有小模型的訓(xùn)練和推斷，云和端之間有模型間學(xué)習(xí)梯度的通信。在數(shù)據(jù)方向，端側(cè)對于數(shù)據(jù)進(jìn)行計(jì)算與存儲，將云端需要的數(shù)據(jù)同步到云端離線數(shù)倉，從而實(shí)現(xiàn)云端協(xié)同智能以及數(shù)據(jù)一體化。

5. 智能硬件設(shè)備的發(fā)展

智能終端設(shè)備已由智能手機(jī)發(fā)展到穿戴設(shè)備、交通工具、家居設(shè)備，多端的端、邊緣與云全場景智能平臺，由此蘋果、安卓和各芯片廠商與整機(jī)廠商都在推出與自身硬件配合的全場景機(jī)器學(xué)習(xí)框架。高通于 2022年6月推出支持包括TensorFlow、PyTorch和ONNX在內(nèi)的，不同AI框架與主流 runtimes的AI軟件棧；華為的昇騰計(jì)算基于昇騰系列處理器構(gòu)建的全棧AI計(jì)算基礎(chǔ)設(shè)施及應(yīng)用，包括昇騰Ascend 系列芯片、Atlas系列硬件、CANN芯片使能、MindSpore AI框架、ModelArts、MindX應(yīng)用；聯(lián)發(fā)科的 Paddle Lite面向端側(cè)場景的輕量化推理引擎，可以實(shí)現(xiàn)飛槳模型在x86/ARM平臺下多種OS內(nèi)的高效部署，同時(shí)支持在10種以上的GPU/NPU異構(gòu)后端進(jìn)行推理加速和混合調(diào)度；小米的MACE同樣支持CPU、GPU與DSP的異構(gòu)計(jì)算加速，支持高通、MTK與澎湃等芯片。芯片廠商針對AI進(jìn)行硬件的迭代，同時(shí)手機(jī)廠商通過智能相機(jī)、語音助理等系統(tǒng)應(yīng)用等對于智能場景的探索，逐步提升軟件的支持能力，封裝基礎(chǔ)的SDK提供給應(yīng)用開發(fā)者。

6. 軟件工程體系的完善

基于不同硬件廠商提供的AI支持的指令集或深度學(xué)習(xí)框架，將真實(shí)的業(yè)務(wù)應(yīng)用到端上需要模型壓縮、優(yōu)化、灰度部署與更新等工程能力。在這個(gè)方面各軟件廠商都有實(shí)踐，其中騰訊、螞蟻金服、字節(jié)跳動、美團(tuán)等都有相關(guān)的基礎(chǔ)建設(shè)的沉淀，并作為平臺通用能力對外提供，分層架構(gòu)設(shè)計(jì)上可劃分為計(jì)算框架、智能框架、研發(fā)平臺層。

6.1 數(shù)據(jù)處理層，實(shí)現(xiàn)云端數(shù)據(jù)一體化

為保障端上模型推理的準(zhǔn)確和高效，端側(cè)需支持流式計(jì)算來保證數(shù)據(jù)加工的實(shí)效性。避免即時(shí)單一的數(shù)據(jù)消費(fèi)限制了應(yīng)用的場景，由此通過實(shí)現(xiàn)KV或SQL Lite等方式進(jìn)行數(shù)據(jù)的存儲。為了提升數(shù)據(jù)存儲的效率，支撐端上的特征工程建設(shè)，將多元的數(shù)據(jù)進(jìn)行多維度的整合與管理，提供給不同業(yè)務(wù)以方便高效地消費(fèi)、共享、定制、復(fù)用各自的特征數(shù)據(jù)。同時(shí)數(shù)據(jù)存儲將過濾用戶信息的數(shù)據(jù)加工為樣本，為云端模型推理與訓(xùn)練提供支持。

6.2 計(jì)算架構(gòu)層，兼容多種硬件差異

解決端上算法模型運(yùn)行的問題并兼顧其在移動端性能、尺寸、功耗上的訴求，適配底層不同的操作系統(tǒng)與硬件芯片，為模型的運(yùn)算提供統(tǒng)一的環(huán)境。例如螞蟻金服的算法研發(fā)框架MNN，支持主流模型的文件格式與主流網(wǎng)絡(luò)結(jié)構(gòu)，通過自實(shí)現(xiàn)算子支持不同模型優(yōu)化算子體積，實(shí)現(xiàn)python虛擬機(jī)。字節(jié)跳動 Pitaya端上虛擬機(jī)PitayaVM，通過對內(nèi)核和標(biāo)準(zhǔn)庫的剪裁縮小虛擬機(jī)的包體積，優(yōu)化容器計(jì)算和編譯時(shí)優(yōu)化等算法提升性能，內(nèi)置python虛擬機(jī)。

6.3 智能框架層，提升應(yīng)用研發(fā)效率

將推理引擎與工程提供封裝給業(yè)務(wù)的組件，屏蔽其對底層運(yùn)行環(huán)境與原子計(jì)算能力的直接感知調(diào)用。例如螞蟻金服基于應(yīng)用范圍和垂直類場景的特性，建設(shè)了多媒體引擎、生物識別引擎，沉淀了OCR文字識別、人機(jī)交互等算法組件，用于支持端上不同業(yè)務(wù)場景的調(diào)用；提供基于數(shù)據(jù)分層設(shè)計(jì)的標(biāo)準(zhǔn)數(shù)據(jù)服務(wù)如埋點(diǎn)、特征處理、數(shù)據(jù)讀取與存儲；基于上述工具組件在一周內(nèi)完成研發(fā)，例如用于端上異常實(shí)施監(jiān)測的白屏監(jiān)測方案、基于端側(cè)高質(zhì)量光學(xué)字符識別（Optical Character Recognition，OCR）算法能力，在聊天場景中進(jìn)行實(shí)時(shí)防范，提示欺詐性的文字和對話，幫助用戶避免被詐騙的反欺詐方案等。

6.4 研發(fā)平臺，高頻迭代下的質(zhì)效保證

提供研發(fā)支撐，包括特征開發(fā)部署，模型訓(xùn)練部署以及監(jiān)控與質(zhì)量保障。（1）發(fā)布管理提供差異化部署服務(wù)，同時(shí)保障穩(wěn)定性，做到可灰度、可監(jiān)控、可回滾，具體包含任務(wù)管理、安全發(fā)布、監(jiān)控運(yùn)維、算法實(shí)驗(yàn)等功能；（2）數(shù)據(jù)處理面向算法提供標(biāo)準(zhǔn)化、規(guī)范化的數(shù)據(jù)服務(wù)，包括數(shù)據(jù)可視化、數(shù)據(jù)接入授權(quán)、數(shù)據(jù)使用消費(fèi)統(tǒng)計(jì)等內(nèi)容；（3）模型優(yōu)化面向算法提供模型訓(xùn)練、模型轉(zhuǎn)換、模型壓縮、模型評測等服務(wù)。

7. 云端智能一體化在推薦場景的應(yīng)用

盡可能短的時(shí)間內(nèi)讓用戶找到自己感興趣的內(nèi)容，是推薦場景的核心問題。常用的推薦算法有基于神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)，也有將內(nèi)容、協(xié)同過濾和熱度等算法相結(jié)合的混合推薦算法[4]，當(dāng)整個(gè)應(yīng)用部署在云端時(shí)，用戶通過移動終端發(fā)起檢索請求后，觸發(fā)云端執(zhí)行查詢、多路召回、模型排序與展示信息合并處理，最終返回給客戶端進(jìn)行渲染呈現(xiàn)。

7.1 云端計(jì)算在推薦場景的延遲問題

上述通用流程服務(wù)系統(tǒng)會有每秒查詢數(shù)的限制，以及網(wǎng)絡(luò)通信的耗時(shí)、傳輸包體影響，通常會采用分頁請求機(jī)制，因此存在列表結(jié)果排序更新延遲的問題。從兩個(gè)角度分析：（1）決策機(jī)會角度：由于推薦列表基于服務(wù)端計(jì)算得出，推薦策略調(diào)整以端云通信頻次調(diào)整。出于用戶體驗(yàn)的考量，一般一次請求獲取的數(shù)量是用戶在移動終端可視區(qū)域內(nèi)單次展示數(shù)據(jù)量的5倍左右，意味用戶需要完成5屏數(shù)據(jù)的瀏覽，才能被推薦自己感興趣的內(nèi)容，這使得用戶的特征偏好不能被及時(shí)響應(yīng)。（2）特征時(shí)效性角度：用戶實(shí)時(shí)反饋信號通過Storm、Flink等流處理平臺，以Mini-batch的方式計(jì)算后，存入KV特征數(shù)據(jù)庫供搜索系統(tǒng)模型使用，這種方式往往會有分鐘級的特征延遲，在營銷活動、業(yè)務(wù)高峰時(shí)期延遲更為加劇，降低推薦策略對于用戶偏好的響應(yīng)。

7.2 移動終端側(cè)的用戶感知

因?yàn)橛脩舻男袨閿?shù)據(jù)在端側(cè)采集即可加工，因此較云側(cè)推理采集更豐富且實(shí)時(shí)性高。例如淘寶的商品列表頁面，而在端側(cè)采集的用戶行為有20余種，包括用戶在商品曝光時(shí)的動作與進(jìn)入商品詳情后的動作。在端上的感知相較云上有以下不同：（1）應(yīng)用負(fù)反饋：端上的點(diǎn)擊事件比較稀疏，采用瀏覽而未點(diǎn)擊的行為建立負(fù)反饋，為了避免模型被大量的曝光事件所主導(dǎo)，采用將曝光行為序列和商品點(diǎn)擊序列單獨(dú)建模；（2）細(xì)化特征應(yīng)用與多個(gè)決策：為了能夠?qū)⒂脩舻母兄С侄鄠€(gè)決策模型，分別對商品特征和動作特征進(jìn)行encode（ 特征編碼）而后funsion（特征融合），便于下游任務(wù)對于商品特征進(jìn)行attention（注意力機(jī)制）；（3）持久化：加工而得的用戶特征可以在端側(cè)持久化，做到隨取隨用，而不會有任何泄露用戶隱私的風(fēng)險(xiǎn)，而脫敏數(shù)據(jù)可以回傳云端。

7.3 端云協(xié)同推薦的發(fā)展

7.3.1規(guī)則階段

在移動終端上部署輕量的規(guī)則引擎，將業(yè)務(wù)運(yùn)營的規(guī)則抽象化和配置化，在端上實(shí)時(shí)響應(yīng)用戶的實(shí)時(shí)事件流與特征變化做出反饋。配合規(guī)則引擎可以有效提升例如“離開”意圖的及時(shí)反饋，在“用戶挽留”場景下通過發(fā)放優(yōu)惠、彈窗交互，并通過多次商品的特征捕獲，推斷用戶的比價(jià)意圖，當(dāng)推理模型觸發(fā)閾值時(shí)向服務(wù)端請求更低價(jià)的相似商品。

7.3.2模型階段

基于規(guī)則構(gòu)筑的特征工程，驅(qū)動模型的推理，改變本地信息流數(shù)據(jù)的展示順序?？焓謭F(tuán)隊(duì)針對短視頻推薦場景設(shè)計(jì)的端上模型，已全量應(yīng)用到生產(chǎn)環(huán)境中，影響了日均3.4億的用戶。該模型以用戶長期行為序列作為長期興趣提煉，與用戶實(shí)時(shí)興趣感知的模型相互補(bǔ)，如表1所示生產(chǎn)環(huán)境的A/B實(shí)驗(yàn)數(shù)據(jù)表明，基于單點(diǎn)貪心排序的重排（Greedy Strategy）相對于沒有端上重排的基線，用戶的有效瀏覽（Efffective View）、點(diǎn)贊（Like）、關(guān)注（Follow）等指標(biāo)數(shù)據(jù)都有明顯提升，基于上下文感知的生成式重排（Context-aware Re-ranking）在此基礎(chǔ)上又帶來了進(jìn)一步的提升[5]。目前基于不同算法的端上重排已在手機(jī)淘寶、美團(tuán)外賣等各互聯(lián)網(wǎng)信息流場景中廣泛應(yīng)用。

結(jié)語

端智能與云端智能互補(bǔ)，通過在端側(cè)進(jìn)行數(shù)據(jù)處理與推理計(jì)算，提升了應(yīng)用場景下的運(yùn)算效率，釋放了云端算力壓力和數(shù)據(jù)過濾的壓力，同時(shí)提升了用戶數(shù)據(jù)的安全性。在面對終端設(shè)備與系統(tǒng)的差異性導(dǎo)致適配技術(shù)復(fù)雜度的問題時(shí)，各大互聯(lián)網(wǎng)廠商與手機(jī)廠商分別從應(yīng)用層和系統(tǒng)層建設(shè)平臺能力，降低智能模型的云端一體化適配和運(yùn)維成本，架構(gòu)設(shè)計(jì)逐漸趨同，算法正在業(yè)務(wù)驅(qū)動下迭代。互聯(lián)網(wǎng)廠商探索基于移動終端構(gòu)筑聯(lián)邦學(xué)習(xí)模式，其將通過模型共享，進(jìn)一步縮短訓(xùn)練過程。相信相似的端云協(xié)同的模式也將應(yīng)用到工業(yè)互聯(lián)網(wǎng)等其他領(lǐng)域。

參考文獻(xiàn)：

[1]浪潮信息，IDC.2022-2023中國人工智能計(jì)算力發(fā)展評估報(bào)告[EB/OL].（2023-01-04）.https：//www.wxkol.com/item/3498c29e4d50553e.html.

[2]朱銳，王宏志，崔雙雙，等.面向元宇宙的云邊端協(xié)同大數(shù)據(jù)管理[J].大數(shù)據(jù)，2023，9（1）：63-77.

[3]龐濤，丘海華，潘碧瑩.手機(jī)終端人工智能關(guān)鍵技術(shù)研究[J].電信科學(xué)，2020，36（5）：145-151.

[4]金子坤.基于電商平臺的智能推薦算法研究[J].辦公自動化，2022，27（1）：25-27.

[5]Gong XD，F(xiàn)eng QL，Zhang Y. Real-time Short Video Recommendation on Mobile Devices[C]//In CIKM '22：Proceedings of the 31st ACM International Conference on Information & Knowledge Management.2022：3103–3112. https：//dl.acm.org/doi/10.1145/3511808.3557065

作者簡介：李欣悅，本科，就讀于對外經(jīng)濟(jì)貿(mào)易大學(xué)統(tǒng)計(jì)學(xué)院在職人員高級課程研修班，工程師，研究方向：客戶端工程化建設(shè)與終端智能。