基于智能流程自動化的手機檢測方法研究

通信世界網消息（CWW）生成式AI與智能手機的深度融合引發(fā)了多模態(tài)交互場景的爆發(fā)，導致終端功能檢測的復雜性與狀態(tài)不確定性激增[1]。傳統(tǒng)腳本回放方案難以應對動態(tài)彈窗、跨系統(tǒng)協(xié)同等復雜邏輯，導致約30%的場景仍需要人工干預，測試效率與一致性瓶頸凸顯。

與此同時，智能流程自動化（Intelligent Process Automation,IPA）融合計算機視覺、自然語言處理等技術，在財務、審計等領域已展現(xiàn)出處理非結構化數(shù)據(jù)與支持復雜決策的能力[2]。然而，目前IPA研究對具備多模態(tài)感知、實時交互與跨系統(tǒng)協(xié)同特征的手機測試場景關注不足[3]。本文首次系統(tǒng)性探索將IPA框架引入手機檢測領域，旨在實現(xiàn)“智能識別—動態(tài)決策—自動執(zhí)行”的閉環(huán)。

感知層：集成YOLOv11（一種目標檢測算法）與OCR（光學字符識別技術），實現(xiàn)PC與移動端彈窗的統(tǒng)一目標檢測與文本識別。

決策層：通過關鍵語義提取與模糊匹配，將測試需求映射為原子化動作序列，以提升腳本在動態(tài)環(huán)境中的穩(wěn)健性。

執(zhí)行層：結合ADB（安卓調試橋）與視覺驅動RPA（機器人流程自動化），實現(xiàn)跨系統(tǒng)端到端協(xié)同控制。

實踐表明，在無線緊急警報（WEA）等復雜場景下，該方法使測試效率提升超50%，并支持多終端一致性無人值守測試，為AI時代智能終端的自動化檢測提供了高效的技術方案。

1 相關領域現(xiàn)狀

IPA作為RPA智能化演進的成果，通過集成機器學習、計算機視覺（CV）與自然語言處理（NLP）技術，實現(xiàn)了從“基于規(guī)則”向“數(shù)據(jù)驅動決策”的范式轉型[2]。雖然在金融、制造及網絡運維等領域，IPA處理非結構化數(shù)據(jù)與復雜業(yè)務的能力得到驗證[1,2]，但在手機測試這類界面變更頻繁、數(shù)據(jù)形態(tài)復雜，以及流程因操作反饋或系統(tǒng)狀態(tài)不同而存在多種可能路徑的場景中應用尚淺。

在技術并行層面，基于YOLO與OCR的視覺感知技術有效提升了移動端UI檢測的魯棒性[1,4]；與此同時，基于大模型構建、以Trident為代表的多模態(tài)框架，在GUI自動化探索方面取得了顯著進展[5]。然而，現(xiàn)有研究仍存在以下局限性：首先是協(xié)同缺失，多聚焦單端App或特定目標識別，缺乏PC測試平臺與移動終端之間的跨系統(tǒng)協(xié)同控制；其次是映射斷層，難以實現(xiàn)復雜測試規(guī)程與彈窗語義之間的深度映射；最后是閉環(huán)能力不足，尚未形成系統(tǒng)性的端到端自動化流程。

綜上所述，雖然IPA的有效性及多模態(tài)技術的感知能力已得到驗證[1,2,5],但將IPA的“感知—決策—執(zhí)行”閉環(huán)能力系統(tǒng)性引入手機檢測領域的研究仍是空白。本文以此為切入點，旨在探索能夠應對高復雜度多模態(tài)交互的智能化測試方案。

2 多模態(tài)IPA手機檢測平臺架構與模塊設計

本文在IPA思路的基礎上，構建了面向手機檢測的多模態(tài)動態(tài)閉環(huán)架構，整體由感知層、決策層和執(zhí)行層三部分組成，如圖1所示。系統(tǒng)通過“智能識別—動態(tài)決策—自動執(zhí)行”的閉環(huán)控制，將傳統(tǒng)腳本驅動的靜態(tài)自動化測試升級為可應對復雜場景的智能自動化測試。

圖1 多模態(tài)IPA手機檢測平臺架構

2.1感知模塊設計

感知模塊作為IPA平臺的底層支撐，可實現(xiàn)跨終端界面的高魯棒性統(tǒng)一感知。

彈窗目標檢測：為適配測試過程中頻繁出現(xiàn)的各類彈窗提示，本文利用 YOLOv11構建檢測模型，針對PC與手機端異構界面（不同分辨率及風格）進行實時掃描，實現(xiàn)彈窗區(qū)域的精確回歸與定位，為后續(xù)分析鎖定感興趣區(qū)（ROI）。

文本與圖標語義解析：在獲得彈窗區(qū)域后，集成PaddleOCR并融合空間拓撲特征，對ROI內的文本與功能圖標進行分塊提取。

2.2 決策模塊設計

決策模塊的任務是將感知結果映射為具體測試任務和操作意圖。該模塊首先將復雜的測試規(guī)程解構為文本校驗、圖標匹配及屏幕交互等原子化任務。針對異構系統(tǒng)版本差異、多語言環(huán)境下提示語的不規(guī)范，該模塊引入了基于萊文斯坦距離（Levenshtein Distance）的模糊匹配機制，通過度量感知文本與預期規(guī)程之間的語義相似度，實現(xiàn)操作意圖的精準判定。這種機制有效解決了傳統(tǒng)腳本依賴固定字符匹配的問題，顯著增強了系統(tǒng)在語義表述差異場景下的自適應性與決策魯棒性，實現(xiàn)了復雜測試路徑的閉環(huán)。

2.3 執(zhí)行模塊與原子動作庫

執(zhí)行模塊旨在將高層決策意圖轉化為針對終端及環(huán)境的具體物理操作，是實現(xiàn)端到端自動化的關鍵一環(huán)。

原子動作庫設計：針對屏幕交互、系統(tǒng)設置（如飛行模式、時鐘同步）及多模態(tài)通信等底層規(guī)程，構建標準化原子動作集。通過將復雜操作解構為參數(shù)化、可調用的獨立函數(shù)接口，確保執(zhí)行層對異構終端的高效驅動與高度適配。

低代碼封裝與流程編排：遵循IPA架構理念，將原子動作進一步封裝為高階邏輯組件。系統(tǒng)可依據(jù)決策模塊輸出的指令序列，通過動作庫的自動化組合與流程編排，實現(xiàn)測試路徑的動態(tài)構建。

3 IPA手機檢測方法的實現(xiàn)細節(jié)

基于IPA架構的多模態(tài)測試平臺以無線緊急警報場景為牽引，實現(xiàn)了“用例管理—界面感知—決策路由—閉環(huán)執(zhí)行”的自動化流水線。

3.1 彈窗檢測模型設計與訓練

為兼顧檢測精度與實時性，感知層采用輕量化YOLOv11n網絡，采集并人工標注涵蓋PC與移動端的1000個異構彈窗樣本，在RTX 3060硬件環(huán)境下進行300輪次迭代（Batch Size=64），模型實現(xiàn)了對多分辨率、多風格彈窗區(qū)域的精準回歸。

3.2 文字識別與關鍵語義提取算法

語義解析的準確性直接影響決策邏輯的穩(wěn)健性，針對YOLO返回的檢測框，通過對彈窗內關鍵元素（如警告文本、交互按鈕）的空間分布統(tǒng)計，引入比例分割算法進行區(qū)域預處理。該算法有效解決了異構界面下的內容偏移問題，配合OCR顯著提升了關鍵語義的識別精度，為后續(xù)決策路由提供了高質量的結構化數(shù)據(jù)支撐。

將目標區(qū)域分割成上、中、下三部分之后（如圖2所示），即可對內容進行分塊提取。其中，中間區(qū)域的內容主要用于提取操作的關鍵提示詞；下面區(qū)域的內容主要用于提取按鈕所在的位置，以便后續(xù)的點擊操作。所有提取的信息均須進行統(tǒng)一的大小寫格式轉換，以免因格式差異導致匹配錯誤，進而影響執(zhí)行準確率。

圖2目標區(qū)域分割結果

3.3 基于萊文斯坦距離的模糊匹配策略

針對OCR識別噪聲及多版本語境下的“語義漂移”問題，本文引入萊文斯坦距離構建模糊匹配機制，即通過計算感知文本與標準詞條間的歸一化相似度，實現(xiàn)測試意圖的語義對齊。該策略彌補了精確匹配規(guī)則的脆弱性，顯著增強了系統(tǒng)在非結構化提示語環(huán)境下的決策魯棒性。

3.4原子動作庫的設計與執(zhí)行流程實現(xiàn)

原子動作庫將復雜規(guī)程解構為ADB指令、內容校驗及點擊執(zhí)行子庫，通過封裝ADB底層驅動，實現(xiàn)主機對終端狀態(tài)切換（如飛行模式、時鐘同步）及多模態(tài)交互的自主控制。該設計實現(xiàn)了業(yè)務邏輯與底層驅動的深度解耦，顯著提升了測試執(zhí)行效能與系統(tǒng)的跨平臺適配力。

4實驗設計與效果驗證

本研究選取10個典型用例，構建PC與移動端耦合的測試環(huán)境。通過50輪蒙特卡羅實驗，從執(zhí)行效能、跨終端穩(wěn)健性及故障檢出率三個維度，量化對比IPA與人工測試的性能差異，系統(tǒng)驗證了該方案的工程可行性與可靠性。

由圖3可知，IPA系統(tǒng)能夠快速向手機端發(fā)送相關指令，自動完成測試信息比對，全程無需人工干預，相比人工操作測試效率提升了約50%。此外，IPA系統(tǒng)還可在夜間自動執(zhí)行測試任務，因此在測試效率上具有顯著優(yōu)勢。

圖3 終端測試工作時間對比

表1為不同被測終端測試效果對比，表2為部分測試用例執(zhí)行結果清單。綜合分析結果表明，該系統(tǒng)在異構終端測試中表現(xiàn)出優(yōu)異的泛化性。故障注入實驗證實，系統(tǒng)能精準識別所有異常樣本，具備高可靠的錯誤檢出能力與決策穩(wěn)健性，實現(xiàn)了復雜規(guī)程下的閉環(huán)自動化檢測。

表1不同被測終端測試效果對比

表2 部分測試用例執(zhí)行結果清單

5 結束語

本文旨在探索構建集成人工智能視覺、原子動作庫技術的IPA自動化測試平臺，并在實際測試環(huán)境中檢驗了所提方法的有效性和可靠性。未來，筆者將根據(jù)實際測試需求，進一步完善和優(yōu)化測試平臺功能，并探索大模型等先進人工智能技術在手機測試自動化領域的應用。

參考文獻

[1] 周映. 基于RPA技術的網絡安全運營自動化實踐應用研究[J]. 電信科學, 2024, 40(7): 164-174.

[2] 劉勤. 智能財務之流程自動化變革：從RPA到IPA. 財會月刊[J], 2024(9): 33-40.

[3] 霍麗霞. 基于圖像內容識別的移動應用智能檢測系統(tǒng)[J]. 警察技術, 2025(1): 61-64.

[4] Anilkumar C, Rani M S, Venkatesh B, et al. Automated License Plate Recognition for Non-Helmeted Motor Riders Using YOLO and OCR[J]. Journal of Mobile Multimedia, 2024(9): 239-265.

[5] Liu Z, Li C, Chen C Y, et al. Vision-driven Automated Mobile GUI Testing via Multimodal Large Language Model[EB/OL]. (2024-07-03) [2025-11-20]. https://arxiv.org/abs/2407.03037.