12月以来,手机助手豆宝成为科技界最热门的话题。第一天的震撼上线、第二天的“一机难求”的手机、第三天微信异常终止的权限纠纷、第四天、第五天第三方产品的登录限制……各界人士都在讨论这个AI手机助手的功能和安全性,以及它改变现有互联网商业模式的力量。从12月1日开始到现在已经10天了。最强风暴过后,中兴通讯带豆宝手机助手的nubia M153合作工程样机(以下简称“豆宝手机”)是否还会保留当初发布时的功能呢?经过一周的技术逻辑、安全逻辑和业务逻辑的摩擦和冲突,现在的优宝移动在哪里?您的AI手机助手的核心功能是否受到影响?对此,新京报贝壳财经记者进行了解答我们对这款手机进行了实际测试,重点关注点外卖、订机票、导航等日常场景,并邀请专家进行分析。 23款应用中,有8款被限制使用,但有15款可以通过人工智能操作。上线之初,豆宝手机就展示了跨平台比价、发送微信等功能。然而,12月3日,用户反映微信账号被异常关闭的事件发生后,豆宝移动立即断开了微信的自动操作功能。豆宝移动的应用遇到了“风控墙”,导致其在多个场景下的人工智能能力受到限制。有的用户甚至担心自己的豆宝手机被“锁定”,无法使用。对此,12月8日,北京贝壳财经报记者表示:“这是一部新手机,我需要安装一些我每天使用的应用程序,请推荐并帮我下载。”社交通讯、生活服务、购物等共下载了23个应用,涵盖消费、办公学习、娱乐休闲五个类别。记者用豆宝手机实测时发现,23个应用中,有5个无法直接登录:淘宝、美团、支付宝、拼多多、猫眼。微信、高德地图、大麦网三个应用可以手动登录,但无法通过人工智能进行操作。另一方面,滴滴、QQ、京东等15款应用的使用完全不受影响,可以使用AI登录操作。具体情况如下表,新京报贝壳财经记者罗一丹12月8日实测情况发现,功能受限的8款应用分别属于腾讯、阿里巴巴、美团、拼多多、光线传媒等五家公司。官方l 豆宝手机助手12月5日发布的信息显示,出于游戏金融安全和公平的考虑,不仅是游戏场景,银行应用等金融应用的使用也受到了限制。豆宝手机助手打不开微信。从此前的结果来看,“光明顶峰”豆博被“五大派系”包围。不过,这也说明各大厂商对豆宝手机的限制并非“一刀切”。例如,腾讯的QQt和阿里巴巴的夸克仍然可以在豆宝手机助手上照常获取。那么“还能用”的豆宝手机能为用户带来哪些新体验呢?现代人工智能助手体验:一句话记住您的偏好,跳过弹出窗口和广告,并在后台运行。经过两天的实际测试,新京报、贝壳财经记者发现,豆宝手机目前安装的AI辅助功能手机已经到了“落地”阶段,有些功能非常实用。使用豆宝手机助手打开应用程序和执行任务的能力给记者留下了深刻的印象。当广告被准确识别并点击关闭后,用户就可以找到指定功能的入口。要知道,目前不同应用中的一些弹窗“非常容易防御”,有些弹窗的关闭方式非常巧妙,很容易忽悠用户。而豆宝手机助手打开这些应用程序时,会根据弹窗形状的不同,执行“点击关闭”或“等待弹窗消失”等动作,成功率很高,点击广告的人很少。豆宝手机助手在执行任务时会关闭弹窗。豆宝手机此外,即使当您面对某些应用程序的有吸引力的选项时,您也可以清楚地区分它们。例如,记者经常使用OTA平台购买机票。这些平台经常通过隐藏购票步骤最后的选项来“推动”用户购买保险等附加服务。手机豆宝在这一步显示一条消息,“明确”询问“您是否要添加该服务”。豆宝手机助手询问记者购买机票时是否“需要增加附加服务”。豆宝手机助手截图。如果在执行任务时出现紧急情况,豆宝手机助手提供了相当大的灵活性,可以尝试不同的路径来解决问题。当记者启动豆宝手机助手并让它导航时,他先打开了高德地图,但遇到打开限制,于是又打开了百度地图。当他让豆宝手机助手拍P图时,他先尝试了一下手机自带的美颜功能,然后又到小红书上了解了如何制作一张P图。上述两种方法失败后,他再次登录浏览器,看到“P图是我调查的”什么app可以这样?评论不够高,必须邀请好友或者回答问题,当时记者通过手机助手的“附加”功能添加了“帮我回答问题”命令,豆宝手机助手开始帮记者一一解答问题(每个答案的思考时间不同),并在8分钟内回答了60道哔哩哔哩“考试题”,这是升级到LV2的必备条件。ents 已在任务开始时发布。在完成哔哩哔哩评论任务时,豆宝手机助手“意外”地帮助记者的账号通过了问答测试。豆宝手机截图 豆宝手机助手目前在B站回答问题(8倍速视频)。最后,即使面对模糊的用户需求,豆宝手机助手也有一定的“意见”,甚至可以帮助用户根据记忆做出决策。比如,此前有记者用豆宝手机助手写了一条备忘录:“我想吃猪蹄饭”。记者随后通过豆宝手机助手给出了模糊的指示:“给我点晚饭,点什么你自己决定,便宜的都可以,离我近。” D的手机助手欧宝的执行逻辑显示为“搜索猪蹄米,过滤最便宜、最接近的”。 Jyoto.com的外卖页面上,当外卖起价为由于数量不足,需要批量点餐,记者回应“可以停了”,他选择了卤蛋、炖饺子作为推荐菜品。类似的选择包括炖干豆、海带鸡蛋汤、烤香肠和荷包蛋。这个“选择”只是豆宝手机助手的“主观”推荐。豆宝手机助手在外卖场景中自动帮助用户“取单”。不过,贝壳财经记者在测试过程中发现,豆宝手机助手也存在一定的局限性,在一些复杂的任务中可能会出现错误。例如,当您运行任务“购买12月9日天津到北京的高铁票”时,执行逻辑首先检查当天的所有车票。不过,当天两地之间的高铁车票过多,几分钟后任务就自动停止了。另外,当我执行任务时“打开QQ音乐播放某个歌手最受欢迎的歌曲”,豆宝手机助手播放了该歌手歌单中的第一首歌曲,但这首歌并不是播放次数或点赞次数最多的歌曲。同时,豆宝手机助手在12月5日更新后无法完成部分激励场景。例如,当记者询问:“打开网易云音乐,看广告即可获得免费VIP歌曲听歌时长”时,豆宝手机助手回复:“无法直接实现与用户账号、激励系统相关的操作。” “豆宝手机助手的工程水平非常高,完整性非常好,是未来智能终端的雏形。但在需要实时响应的场景,比如理解摄像头采集的高清视频,豆宝手机助手的响应速度还不够快。”面墙智能高级研究员刘志远表示,他是在接受某人士采访时这么说的。财经记者。豆宝手机助手流畅运行的背景:高系统权限和读屏能力。贝壳财经记者发现,豆宝手机之所以能为用户提供“流畅”的AI手机助手,与手机在系统层面将INJECT_EVENTS权限转移给豆宝手机助手主题以及豆宝自身大规模模型的能力有关。记者在实际测试中发现,当启动豆宝手机助手执行任务时,接受任务后,会默认位于手机屏幕顶部,并在后台运行该任务。这给用户带来了无用的任务执行体验,而这正是 INJECT_EVENTS 权限所能达到的效果。事实上,AI手机助手并不是豆宝首创。华为、小米、荣耀等都尝试了AI移动助手,并利用INJECT_EVENTS权限实现了这一目标。其中一些某些场景下的手机交互任务,例如使用语音命令设置闹钟或启动应用程序。第三方应用只能通过辅助权限来实现“读屏+伪点击”,比如发送操作,或者智普AutoGLM手机上演示的红包。这种方法会占用手机屏幕,并阻止用户同时在手机上进行其他操作。对此,网络安全专家曲龙向记者解释,无障碍权限的操作逻辑完美模仿了用户前端应用的操作。如果移动代理依赖于此应用程序层权限,则暂停可访问性权限与结束应用程序相同,并且根据定义,任务执行将不会继续。豆宝助手是一款在手机系统中拥有基本权限的应用程序,因此具备了落地执行任务的能力。然而,INJECT_EVENTS权限只负责模拟用户指令的操作。 “允许后台活动”需要系统提供的其他权限才能完成。从技术上来说,AI手机助手的核心逻辑其实就是“读懂你的手机屏幕”的能力。据量子位新闻报道,豆宝手机助手的图形界面操作功能基于字节开发的UI-TARS模型。这是今年1月份字节种子团队和清华大学开源的模型。 “豆宝手机”采用了闭源版本的UI-TARS,不仅性能比开源版本更好,而且针对移动端使用进行了诸多优化,为豆宝手机提供了重要的技术支撑。通过两组“组合点击”,形成了目前豆宝手机上展示的功能。然而,上面提到的 INJECT_EVENTS 权限是“系统签名权限”12月3日,豆宝手机助手代表迅速辟谣,称只有用户主动权限才能调用该权限。“豆宝手机助手不涉及任何黑客行为。”12月9日,一位制定国家信息安全相关法规的专家在回顾事件时向贝壳财经记者表示,豆宝手机相当于拥有一把“万能钥匙”。 “主密钥”提供了无缝的用户体验,但可能会影响多个应用程序中的风险管理机制。“风险管理机制因应用程序而异。一些具有较高安全元素的应用程序可能会认为某些异常行为是机器代理操作而不是用户交互。他们是黑灰色的,会被判定为“一群猫”,最终会限制你登录。”由于AI移动助手能够在执行用户任务的同时获取用户信息,一些人认为将AI助手的功能限制在本地并采用设备端模型可能是更好的解决方案。刘志远多年来从事大型客户端模型的研发。对此,他对贝壳财经记者表示:“手机助手、豆宝也应该有一个本地语音模型,这是一个比较简单的端云协同。未来端云协同需要共同完成端端的智能任务,主要问题是端端和云端如何分工,我觉得需要根据专业人士的职责,即端端进行大致的定制。”它负责定制,云端负责专业化(数学、代码等)。 “技术能否突破隐私的高墙和商业围栏?目前,豆宝手机和全人工智能手机助手面临两大挑战。除了对隐私和安全的担忧之外,人们还不愿意脱离现有的商业模式。事实上,抛开隐私和安全问题不谈,正是AI手机本身的到来,让其他应用难以被接受。互联网时代可能会被彻底打破。例如,记者在真实测试中表示:“北壳财经可以调用豆宝手机助手进行“播放歌曲”操作。作为用户,首先要打开音乐应用,观看或跳过首屏广告,然后取消一些“会员”等广告弹窗,最后搜索并点击想要听的歌曲。而使用豆宝手机助手,上述操作完全在后台进行,对用户完全透明。逻辑可以理解,很多app“抵制”豆宝,但在如何验证用户是否使用的是豆宝手机上,“手机App完全开放,可以获取设备型号、品牌、制造商、硬件信息和系统版本”。锁定运行时环境是最简单的方法。当然,你也可以使用权限检测。如果检测到INJECT_EVENTS权限用于模拟输入,则直接拒绝。 “这也是上述应用能够对你的豆宝手机‘设置限制’的技术原因。”AI手机助手很有用,但你无法利用它们隐藏的好处。最终的逻辑是,如果我们想解决这个问题,就需要结成紧密的联盟。这种伙伴关系使每个人的利益完全一致,没有任何利益冲突。但这太理想化了。这本身就是一个重塑生态系统的过程。 “第三方应用程序的阻塞很可能发生,因此它们更有可能从某些场景开始,比如工作场景,”上述专家援引壳牌财经记者刘志远的话说。中国社科大学互联网法研究中心主任刘晓春表示,人工智能可以代表用户访问第三方应用,是用户意愿的合法表达,只要获得用户的明确许可,并保证个人信息处理等行为合规。 AI智能座席行业仍处于起步阶段。在此期间,技术和法规仍在探索中。对于这种创新技术,我们必须采取全面审慎的态度,精准调控风险,留出创新空间,助力行业健康发展。 “AI带来的改变是真实的,用户的需求也是真实的。豆宝和中兴通讯的探索只是一个开始。” 》12月9日,抖音副总裁李亮发布了这条微博。记者联系邮箱:luoyidan@xjbnews.com 新京报 贝壳财经 记者 罗以敦 主编 王金玉 编辑 陈迪艳