【国盛计算机】手机Agent的两种范式:API与GUI
- 2026-02-12 13:38:00
- miadmin 原创
- 9
手机Agent,挪动交互范式的跃迁。自触控屏幕开启挪动互联网黄金时期今后,App被策画为一个个独立的孤岛,用户通过点击图标进入特定的使用情况,凭借视觉和手动点击来实现劳动。跟着使用数目的延长和性能的堆叠,用户正在分别App间切换、寻找性能入口、手动搬运数据的本钱明显上升。跟着大模子的冲破性希望,挪动交互范式正处于跃迁的前夕:从GUI交互向Agentic交互演进。用户只需通过自然发言外达念做什么,手机Agent便担当将妄念转化为全体的施行环节并交付结果。若何正在碎片化的挪动生态中让AI高出使用围墙施行劳动,业界目前有两条分别的本领道途:
API范式:筑造模范化的语义接口,App开辟者主动适配并呈现相应性能。Agent通过组织化的API移用来引导App施行劳动,以苹果的Apple Intelligence及其App Intents框架为典范代外。
GUI范式:行使众模态模子看懂屏幕上的UI元素,行使体例辅助供职模仿手指的点击与滑动。这一起线不依赖开辟者的配合,试图以通用的视觉才具“暴力”打通全面使用。智谱AI的AutoGLM和字节跳动的豆包手机助手是这一起线的前卫。
主旨差别对照,API Agent与GUI Agent半斤八两。对照了两种范式的本领道途差别,GUI Agent的主旨上风正在于通用性高,正在牢靠性、机能、隐私危机角度则是API Agent更胜一筹。1)通用性: GUI Agent的通用性明显更高,这是主旨上风,不须要App 开辟者实行适配。外面上只须是人类不妨应用的 App,GUI-Agent 都能应用。管理了使用笼罩率的题目,新性能或未呈现性能的适配度也更高。2)牢靠性;GUI Agent的牢靠性如故较低。原故搜罗模子对丰富界面的识别才具还达不到百分百;须要众环节模仿用户操作,满堂劳动腐臭率更高;UI 改版时容易失效。3)机能:API Agent 能够一次移用实现丰富劳动,后端直接驱动施行效劳高。GUI Agent机能较低,实现简略劳动也许须要众次截图理解、视觉推理等丰富盘算推算,算力泯灭更大。截图上传到云端模子时,数据量平凡高于API传输参数,延迟也更高。4)隐私危机:API-Agent 的使用端后台可实行细密的数据和权限处分,权限畛域清楚。GUI-Agent 的隐私危机较高。它须要读取屏幕内容,容易呈现闲扯记实、暗号、验证码等敏锐消息。除了本领题目,贸易阻力上咱们以为GUI Agent欠亨过授权,更容易受到使用厂商的抵触。
贸易样式演变:三方博弈与生态重构。手机Agent的饱起意味着挪动互联网流量的从新洗牌,手机厂商、大模子厂商和使用厂商三方气力将张开丰富的博弈。手机厂商希望从硬件售卖进一步获取流量入口的价钱,OS成为了用户妄念的第一授与者。相同于探寻广告也许演酿成一种新的竞价形式。大模子厂商的愿景是打制一个万能的App(如ChatGPT、豆包)。用户正在这个App里通过对话实现全面需求。把将其他App酿成我方的后端数据库和东西。大模子厂商会踊跃寻求与二线手机厂商合营。字节跳动与中兴的合营便是典范案例。使用厂商,一方面也许与手机/模子厂商合营,盛开个人才具接口;另一方面,为爱惜自己便宜,也也许拒绝或限度Agent的接入。Agent的授权畛域是须要进一步划分的法令题目。App自己也正在Agent化,比如微信最终会推出一个AI智能体,淘宝也正在实验通过“问问”等性能正在App内实行自然发言导购。咱们以为手机Agent的繁荣不会是API或GUI的单选题,对待高价钱、涉及敏锐数据的操作(如付出、通信、主旨营业流),API Agent有更高的正确度和隐私爱惜。对待只读、消息盘查类的需求,以及API尚未笼罩的使用,GUI Agent通过视觉意会的办法运转能够更机动通用。为知道决延迟和隐私题目,来日的手机打点器估计还将进一步优化视觉模子的推理才具,使GUI识别和计划正在端侧实现,不再上传云端。
API Agent:腾讯控股、阿里巴巴、谷歌算力:寒武纪、海光消息、东阳光、神州数码、新易盛、中际旭创、中芯邦际、华虹半导体、胜宏科技、品高股份、鸿腾精细、有方科技、协创数据、沪电股份、兴森科技、中科曙光、海潮消息、东山精细、云天励飞、伟仕佳杰、宏景科技、中芯邦际、奥飞数据、云赛智联、科华数据、禾盛新材、潍柴重机、金山云、浙数文明、青云、大位科技、玉柴邦际、亿田智能、弘信电子、圣阳股份、润泽科技、润筑股份、深桑达、优刻得、云从科技、太极股份、数据港、首都正在线。
Agent:谷歌、阿里巴巴、腾讯控股、阜博集团、广立微、第四范式、360、汇量科技、金蝶邦际、拓尔思、合合消息、税友股份、新致软件、金桥消息、速手、美图公司、鼎捷数智、慧辰股份、嘉和美康、海天瑞声、泛微收集、朗新集团、润达医疗、壹网壹创、万兴科技、用友收集、麦迪科技、宇信科技、京北方、中科金财、致远互联、汉得消息、软通动力、光云科技、上海钢联、同花顺、信雅达、萤石收集、迪安诊断、中科金财、恒生电子、星环科技、卫宁壮健、创业慧康、科大讯飞、万兴科技、创业黑马、迈富时、小商品城、金证股份、极点软件、朗新集团、晶泰控股、佳发教学、新大陆、新开普等。
自触控屏幕开启挪动互联网黄金时期今后,图形用户界面(GUI)平昔是人机交互的绝对主导。正在这一范式下,App被策画为一个个独立的孤岛,用户通过点击图标进入特定的使用情况,凭借视觉和手动点击来实现劳动。这种以使用为中央的交互形式跟着使用数目的延长和性能的堆叠,用户正在分别App间切换、寻找性能入口、手动搬运数据的本钱明显上升。跟着大模子的冲破性希望,挪动交互范式正处于跃迁的前夕:从GUI交互向Agentic交互演进。用户只需通过自然发言外达念做什么,手机Agent便担当将妄念转化为全体的施行环节并交付结果。
若何正在紧闭且碎片化的挪动操作体例中,让AI高出使用围墙施行劳动?业界慢慢分歧出两条分别的本领道途:
API范式:筑造模范化的语义接口。操作体例或平台厂商界说一套通用的妄念接口(如“订票”、“发送信息”),App开辟者主动适配并呈现相应性能。Agent通过组织化的API移用来引导App施行劳动。这一起线以苹果的Apple Intelligence及其App Intents框架为典范代外,夸大生态的有序整合与隐私安然。
GUI范式:模仿人类的感知与操作。行使众模态模子看懂屏幕上的UI元素,行使体例辅助供职模仿手指的点击与滑动。这一起线不依赖开辟者的配合,试图以通用的视觉才具“暴力”打通全面使用。智谱AI的AutoGLM和字节跳动的豆包手机助手是这一起线的前卫。
![]()
苹果等厂商试图正在使用之上修建一层“语义互联网”,将App内的性能原子化,供AI调遣,这须要使用开辟者配合接入。
苹果推出的Apple Intelligence其主旨并非仅仅是一个更聪颖的Siri,而是一套深度的体例级集成框架——App Intents(应有心图)。为了让 Siri 更好地意会开辟者的使用并实行更畅达的对话式交互,开辟者须要遴选与使用性能相成家的域和形式,开辟者通过使应有心图、使用实体或使用罗列适合形式,确保 Apple Intelligence 不妨意会使用的操作和内容。
![]()
API范式的挑衅正在于分别开辟者对统一性子能的界说也许千差万别。为知道决这个题目,苹果供给了众个助手架构(Assistant Schema),每个架构都对应分别的内容范畴(比如浏览器、文档阅读器、文献处分等)。这些架构助助 Siri 依据内容的类型供给定制化的相应。助手架构能够意会为一组模范化的“模板”,Apple 策画这些模板是为了助助 Siri 识别使用的全体性能。例如开辟者的使用是图片处分类的,那么应用photos.openAsset云云的架构,能够让Siri意会要揭示一张照片。
本年10月谷歌正在安卓开辟者博客流露,开辟者能够行使新的Prompt API修建我方的自界说天生式AI性能。本年蒲月的I/O大会上,谷歌推出了基于Gemini Nano模子的筑设天生式人工智能API,通过简略的API简化了摘要、核对和图片描画等劳动,使常睹劳动变得更简略。
GUI Agent起首须要“意会”屏幕。这紧要依赖于大模子的众模态意会才具,这方面才具上领先模子厂商络续冲破,近期谷歌宣布的Gemini 3 Pro的众模态意会才具就大幅发展: 模子不妨打点和意会文本、图像、视频、音频以致代码等众种模态的数据,并正在这些丰富数据之间实行推理,到达了亘古未有的细巧水平。Gemini 3 Pro正在Screen UnderStanding劳动方面体现加倍增色,正在ScreenShot-Pro评测基准得分72.7%,大幅领先Claude Sonnet 4.5(36.2%)和GPT 5.1(3.5%)。
计划与筹办:推理链与劳动拆解以及施行进程中的动态筹办:意会屏幕后,Agent须要筹办运动。比如面临“助我点一杯拿铁”云云的指令,咱们以为Agent也许会将其拆解为子劳动序列:翻开App - 探寻咖啡 - 遴选规格- 下单,Agent每施行一步,都要动态考核方今屏幕形态决议下一步运动,比如点击下单后,也许弹出一个优惠券,也也许提示售罄。案例:智谱AutoGLM
2025年8月20日,北京AI公司“智谱 AI”宣告,客岁宣布的环球首个可自决操作手机的智能体产物AutoGLM再次升级,推出AutoGLM2.0,并迈出更具史籍事理的一步——初度面向公家所有盛开,无需邀请码即可应用。此次宣布的AutoGLM2.0被定位为“施行型助手”。 正在糊口场景中,用户一句话即可让AutoGLM操作抖音、小红书、美团、京东等40余款使用,实现点餐、订票、查房、预定等供职。正在办公场景中,它也能跨使用施行完善流程,从检索材料到撰写文稿,再到天生视频、PPT或播客,并直接实现宣布。
2025年12月1日,字节宣布豆包手机助手预览版。这是一个面向手机厂商的体例级供职,它将豆包大模子深度融入操作体例,让用户只需动嘴(或动一下手指),就能引导手机去施行那些本来需重点击几十次屏幕的繁琐操作。性能搜罗跨平台比价点外卖、搜小红书做攻略等。豆包手机助手的主力研发团队,是字节担当 AI 硬件的 Ocean,它附属于字节 AI 产物大部分 Flow,紧要成员来自字节众年来先后收购的少少硬件产物团队,如锤子手机、VR 头显 PICO、智能耳机 Ola Dance 等,以及近年列入字节的手机、硬件从业者。这款豆包与中兴合营的手机已正在豆包手机助手官网及中兴商城上架,售价 3499 元。这款手机只是豆包手机助手的 “打样”。字节正和众家手机厂商道合营。
正在与中兴努比亚(Nubia Z60 Ultra)的合营中,豆包助手被整合进体例底层。通过长按侧边键叫醒,豆包能够直接获取体例底层的屏幕缓冲区数据,无需通过Accessibility供职的截屏接口,大大消浸了延迟。
豆包手机助手激励了被操作App的抗拒。据上观报道,12月3日,众位网友正在社交平台上反应,搭载豆包助手的努比亚M153工程机登录微信时,页面弹出“登录情况极度,需退换筑设从新登录”的警备。个人用户退换账号后虽能权且登录,但传输闲扯记实时再次被强制下线。更症结的是,若通过豆包助手操作微信性能(如发送信息),体例直接提示“劳动腐臭”,并标注“实践室性能暂不助助微信操作”。其它,12月3日上午,尚有个人应用“豆包AI手机”的用户反应,因应用豆包手机助手操作微信,微信账号被封禁了。午时12时掌握,被封禁的微信延续被解封,能够平常上岸,但无法应用豆包助手实行微信上的主动化操作。另据网友正在社交媒体上反应,我方正在应用豆包AI手机助手的光阴遭到了农行、筑行等APP内的强弹窗指点,央浼闭上豆包AI手机助手后再实行应用。
依据以上对API Agent和GUI Agent本领道途的理解,咱们对照了两种范式的差别,GUI Agent的主旨上风正在于通用性高,正在牢靠性、机能、隐私危机角度则是API Agent更胜一筹。除了本领题目,贸易阻力上咱们以为GUI Agent更容易受到使用厂商的抵触。
![]()
手机Agent的饱起意味着挪动互联网流量的从新洗牌,手机厂商、大模子厂商和使用厂商三方气力将张开丰富的博弈。手机厂商:从硬件售卖到获取流量入口的价钱
正在App时期,用户翻开手机直接点击App,OS只是一层启动器。正在Agent时期,用户直接告诉OS“我要打车”,OS决议唤起哪个App。OS成为了妄念的第一授与者。相同于探寻广告。当用户外达订旅馆妄念时,携程、飞猪、美团谁排正在第一位?这也许演酿成一种新的竞价形式。
大模子等厂商的愿景是打制一个万能的App(如ChatGPT、豆包)。用户正在这个App里通过对话实现全面需求。能够意会为念把将其他App酿成我方的后端数据库和东西。
合纵连横:为了取得体例级权限,大模子厂商踊跃寻求与二线手机厂商合营。字节跳动与中兴的合营便是典范案例。使用厂商:数据护城河的守卫战
对待App厂商,一方面也许与手机/模子厂商合营,盛开个人才具接口;另一方面,为爱惜自己便宜,也也许拒绝或限度Agent的接入。
对外经济营业大学法学院教师、数字经济与法令革新斟酌中央主任许可先容了产生正在美邦的Perplexity案。该案中,被告Perplexity是一家AI公司,其通过亚马逊付费会员账号助助用户购物,被亚马逊指控违法并给自己变成贸易失掉。Perplexity则主睹我方是“用户授权的代庖人”,以为亚马逊的指控是一种霸凌。许可指出,该案主旨争议响应了一种法令逆境:AI助手声称是用户权柄延长,但平台以为其举动危害了贸易生态和安然规律。“正在良众情景下,用户权柄安适台权柄都须要推敲,须要双重授权以至众重授权。”许可说。
App自己也正在Agent化。正在腾讯2025年第三季度财报电话会上,腾讯总裁刘炽平披露微信AI化策略,鲜明流露“微信最终会推出一个AI智能体”,让用户正在生态内即可实现从需求意会到供职交付的全流程。淘宝也正在实验通过“问问”等性能,正在App内实行自然发言导购。
![]()
瞻望来日,咱们以为手机Agent的繁荣不会是API或GUI的单选题,而是两者的交融。对待高价钱、涉及敏锐数据的操作(如付出、通信、主旨营业流),APIAgent有更高的正确度和隐私爱惜。对待只读、消息盘查类的需求,以及API尚未笼罩的使用,GUI Agent通过视觉意会的办法运转能够更机动通用。为知道决延迟和隐私题目,来日的手机打点器估计还将进一步优化视觉模子的推理才具,使GUI识别和计划正在端侧实现,不再上传云端。
API Agent:腾讯控股、阿里巴巴、谷歌。算力:寒武纪、海光消息、东阳光、神州数码、新易盛、中际旭创、中芯邦际、华虹半导体、胜宏科技、品高股份、鸿腾精细、有方科技、协创数据、沪电股份、兴森科技、中科曙光、海潮消息、东山精细、云天励飞、伟仕佳杰、宏景科技、中芯邦际、奥飞数据、云赛智联、科华数据、禾盛新材、潍柴重机、金山云、浙数文明、青云、大位科技、玉柴邦际、亿田智能、弘信电子、圣阳股份、润泽科技、润筑股份、深桑达、优刻得、云从科技、太极股份、数据港、首都正在线。
Agent:谷歌、阿里巴巴、腾讯控股、阜博集团、广立微、第四范式、360、汇量科技、金蝶邦际、拓尔思、合合消息、税友股份、新致软件、金桥消息、速手、美图公司、鼎捷数智、慧辰股份、嘉和美康、海天瑞声、泛微收集、朗新集团、润达医疗、壹网壹创、万兴科技、用友收集、麦迪科技、宇信科技、京北方、中科金财、致远互联、汉得消息、软通动力、光云科技、上海钢联、同花顺、信雅达、萤石收集、迪安诊断、中科金财、恒生电子、星环科技、卫宁壮健、创业慧康、科大讯飞、万兴科技、创业黑马、迈富时、小商品城、金证股份、极点软件、朗新集团、晶泰控股、佳发教学、新大陆、新开普等。
行业比赛加剧危机:若干系企业加快本领迭代和使用组织,满堂行业比赛水平加剧,将会对目前行业内企业的延长发生恫吓。
特地声明:《证券期货投资者妥贴性处分法子》于2017年7月1日起正式实行。通过微信事势制制的本材料仅面向邦盛证券客户中的专业投资者。请勿对本材料实行任何事势的转发。若您非邦盛证券客户中的专业投资者,为担保供职质料、把握投资危机,请打消闭心,请勿订阅、担当或应用本材料中的任何消息。因本订阅号难以筑树探访权限,若给您变成未便,烦请体贴!感动您予以的意会和配合。
苛重声明:本订阅号是邦盛证券盘算推算机团队设立的。本订阅号不是邦盛盘算推算机团队斟酌申报的宣布平台。本订阅号所载的消息仅面向专业投资机构,仅供正在新媒体配景下斟酌主见的实时换取。本订阅号所载的消息均摘编自邦盛证券斟酌所依然宣布的斟酌申报或者系对已宣布申报的后续解读,若因对申报的摘编而发生歧义,应以报密告布当日的完善内容为准。本材料仅代外报密告布当日的占定,干系的理解定睹及猜想可正在不发出告诉的景遇下做出更改,读者参考时还须实时跟踪后续最新的斟酌希望。
本材料不组成对全体证券正在全体价位、全体时点、全体市集体现的占定或投资提议,不不妨等同于诱导全体投资的操作性定睹,日常的一面投资者若应用本材料,有也许会因缺乏解读供职而对申报中的症结假设、评级、目的价等内容产心理解上的歧义,进而变成投资失掉。以是一面投资者还须寻求专业投资照应的诱导。本材料仅供参考之用,授与人不应纯真凭借本材料的消息而代替自己的独立占定,应自决作出投资计划并自行负担投资危机。
| 联系人: | 王先生 |
|---|---|
| 微信: | 1735252255 |
| 地址: | 沈阳市铁西区兴华南街58-6号 |
-
思陌产品
深度学习系统产品介绍 -
使用帮助
使用手册 -
关于我们
公司简介 -
资讯反馈
交流论坛 -
联系我们
Tel 15640228768 QQ/WX技术支持 1735252255