发布日期：2026-02-20 12:45    点击次数：100

假想一下，要是你的电脑或手机能像真东谈主一样看懂屏幕上的内容，知谈哪个按钮该点击，哪个输入框该填写，甚而还能帮你完成复杂的多步操作任务，那会是什么样的体验？这听起来像是科幻电影里的情节，但百度前沿磋议部门的科学家们一经把这个想法造成了现实。他们开采出了一个名为OmegaUse的智能系统，这个系统能够像东谈主类一样操作各式数字确立的图形界面，岂论是安卓手机、苹果电脑照旧网页浏览器。这项磋议发表于2026年1月，论文编号为arXiv:2601.20380v1，标记着东谈主工智能在雄厚和操作用户界面方面取得了紧要冲破。

以往咱们使用电脑或手机时，老是需要用眼睛看屏幕，用手指或鼠标点击，用键盘输入笔墨。但关于东谈主工智能来说，雄厚屏幕上的内容并准确操作却是一个极其复杂的挑战。就像教一个从未见过电脑的东谈主如何使用Word文档一样费劲，AI需要同期具备"看懂"屏幕内容和"知谈如何操作"的双重武艺。

百度磋议团队靠近的第一个中枢问题是如何让AI准确识别屏幕上的各式元素。这就像教孩子认字一样，不仅要识别出屏幕上的按钮、文本框、图标等各式界面元素，还要雄厚它们的功能和相互干系。传统的按序无间依赖于网页的HTML代码或手机阁下的可拜谒性信息，但这些信息正常不准确或不竣工，就像一张画错的舆图，会让AI走错路。

为了措置这个问题，磋议团队开采了一套全新的数据处理经过。他们从六个不同的公开数据团结辘集了大致166万个样本，这些样本涵盖了手机、网页和桌面等各式平台。然而，原始数据中有快要40%齐存在问题，比如按钮的位置标注放肆，或者教唆描述糊涂不清。这就像一堆搀和了真钞和假币的金钱，需要仔细甄别。

磋议团队选择了东谈主工智能与东谈主工审核相结合的模式来计帐这些数据。他们起头用自动化法度去除彰着的放肆和重叠内容，然后安排专科东谈主员一一查验和修正每个样本。这个过程就像珠宝匠悉心打磨每一颗相持，最终从166万个原始样本中筛选出了11.1万个高质地的素养样本。这种严格的质地放置确保了AI学习到的每一个案例齐是准确可靠的。

除了计帐现存数据，团队还创造性地开采了一套自动生成新素养数据的按序。这套按序包含两个相互补充的政策：从下到上的探索和从上至下的设计。从下到上的探索就像让AI我方去摸索各式阁下，点击不同的按钮，不雅察会发生什么，然跋文录下这些操作序列。而从上至下的设计则是磋议团队先盘算好要完成的任务类型，比如"发送短信"或"剪辑文档"，然后让AI学习如何完成这些具体任务。

在从下到上的探索过程中，AI会像一个好奇的孩子一样在各式阁下中四处点击和滑动。为了幸免AI堕入无敬爱的轮回操作，比如反复点击"确立"和"复返"按钮，磋议团队设计了智能的幸免机制。同期，他们还使用假话语模子来雄厚不同界面气象的含义，将功能相似的界面合并在整个，就像把并吞个东谈主的不同角度像片归类为并吞个东谈主一样。

关于从上至下的设计，磋议团队构建了一个详备的任务分类体系。以桌面操算作例，他们将常见任务分为办公文档处理、网页浏览、通信交流、文献照应、系统确立、多媒体文娱、开采器具、效用升迁和安全秘密等九大类别。在每个大类别下，又进一步细分为具体的子任务。比如在办公文档处理类别下，包含了文档剪辑、电子表格处理、演示文稿制作、PDF职责经过等具体任务。这种分层设计确保了AI能够学习到各式施行场景中的操作手段。

OmegaUse系统的架构设计选择了一种叫作念"众人搀和"的技艺。可以把这种技艺假想成一个大型讼师事务所，内部有好多不同专科的讼师。当遭受不同类型的案件时，事务所会自动分派最合适的众人来处理。关于OmegaUse来说，迎面对不同类型的界面操作任务时，系统会激活最合适的众人模块来处理，而其他不关联的模块则保握就寝气象。这种设计既保证了雄壮的处理武艺，又幸免了无须要的盘算资源奢华。

为了让AI着实学会操作界面，磋议团队设计了一个两阶段的素养过程。第一阶段叫作念监督微调，就像教小孩学写字时先描红一样，让AI通过师法无数正确的操作案例来学习基本的操作语法和逻辑。在这个阶段，AI学会了如何识别屏幕上的元素，如何生成正确形势的操作教唆，以及如何理免除务主义。

第二阶段使用了一种叫作念"群体相对政策优化"的强化学习按序。这种按序的中枢想想是让AI通过握住尝试和校正来提高操作的准确性。就像学习射箭一样，每次射完箭后齐要望望是否射中靶心，然后治愈下次的姿势和力度。关于界面操作来说，系统会查验AI点击的位置是否准确，操作序列是否合理，然后凭证这些响应来校正AI的行径。

在强化学习过程中，磋议团队设计了综合的奖励机制来指引AI的学习。关于点击操作，要是AI点击的位置落在正确的按钮领域内，就会赢得满分奖励；要是稍稍偏离但还在可接受领域内，就赢得部分奖励；要是十足点错场地，则莫得奖励。关于拖拽操作，系统会同期查验肇端位置和完结位置的准确性。关于转换操作，不仅要查验位置准确性，还要确保转换标的正确。这种多维度的评估体系确保了AI能够学会精确的操作手段。

为了长入不同平台的操作模式，磋议团队设计了一套通用的动作教唆集。这就像为不同品牌的遥控器制定了长入的按键模范一样。岂论是手机的触摸操作、电脑的鼠标点击，照旧键盘输入，齐被治愈为长入的形势。比如点击操作在系数平台上齐用疏通的坐标形势示意，拖拽操作齐包含肇端点和完结点的信息，文本输入齐使用疏通的内容形势。这种长入化设计让AI能够在不同确立间无缝切换，就像一个多语种翻舌人能够在不同话语间摆脱治愈一样。

为了考证OmegaUse的施行后果，磋议团队创建了两个全新的测试基准。第一个叫作念ChiM-Nav，挑升用于测试AI在华文安卓手机环境中的阐发。这个测试包含了142个任务轨迹，涵盖69个不同的华文阁下法度，开云sports整个991个操作要领。每个任务平均需要约7步操作才能完成，模拟了着实用户在使用华文手机阁下时的复杂场景。

第二个测试基准叫作念Ubu-Nav，专注于Ubuntu桌面系统的老例操作。这个测试包含101个任务轨迹，整个641个操作要领，任务长度从2步到11步不等，平均每个任务需要6.35步完成。这些任务涵盖了文献照应、系统确立、阁下法度使用等各式日常桌面操作场景。

在各项测试中，OmegaUse齐展现出了优异的性能。在ScreenSpot-V2这个普通使用的界面识别测试中，OmegaUse达到了96.3%的准确率，创造了新的记录。这意味着AI在100次界面元素识别任务中，有当先96次齐能准确找到主义位置。在AndroidControl这个安卓操作测试中，OmegaUse达到了79.1%的要领得胜率，这意味着AI能够正确完成大致好像的单步操作。

在更具挑战性的ScreenSpot-Pro测试中，这个测试使用的齐是专科软件的高差别率界面，界面元素愈加复杂和综合，OmegaUse仍然达到了55.47%的平均准确率。诚然这个成绩看起来不如前边的测试，但接洽到专科软件界面的复杂性，这个完结一经十分可以了。就像条款AI在显微镜下进行综合操作一样，难度彰着升迁。

在磋议团队我方设计的测试中，OmegaUse在ChiM-Nav上达到了74.24%的要领得胜率，在Ubu-Nav上达到了55.9%的平均得胜率。这些完结标明，AI不仅能够处理模范化的测试场景，在面对着实天下的复杂阁下环境时也能保握雅致的阐发。

高出值得刺主义是，OmegaUse在处理不同类型的操作时阐发各有特点。关于需要精确点击坐标的操作，如点击按钮、双击文献等，AI阐发得十分出色。关于需要输入文本内容的操作，AI也能很好地雄厚荆棘文并生成合适的内容。关于需要组合使用快捷键的复杂操作，AI雷同能够准确施行。

磋议团队还发现，AI在不同平台间的泛化武艺令东谈主印象深化。一个在手机阁下上素养的模子，在桌面环境中也能阐发雅致。这确认AI学到的不单是是特定平台的操作技巧，更是一种通用的界面雄厚和操作武艺。就像一个老练的司机不仅能开轿车，也能快速适合开SUV或货车一样。

天然，OmegaUse现在也还存在一些局限性。在处理一些需要复杂推理的任务时，比如需要在多个阁下间切换完成复杂职责经过，AI的阐发还有升迁空间。在面对全新的、素养时从未见过的阁下界面时，AI无意会出现困惑。此外，关于一些需要创敬爱维的任务，比如设计图形或写稿内容，AI现在还无法达到东谈主类的水平。

从技艺完结的角度来看，OmegaUse的得胜成绩于几个要害身分的奥妙结合。起头是高质地数据的要紧性，就像烹调需要簇新食材一样，AI素养也需要准确、万般的数据。其次是合适的模子架构，众人搀和技艺既保证了武艺又放置了老本。第三是悉心设计的素养政策，两阶段素养让AI先学会基础手段，再通过实践来精进。临了是全面的评估体系，多个测试基准确保了AI在各式场景下的可靠性。

这项磋议的敬爱远不啻于技艺自己。它为改日的东谈主机交互开辟了新的可能性。遐想一下，当你需要处理一堆重叠性的电脑操作时，比如批量处理文献、填写表格或整理邮件，AI助手就能十足接管这些任务。关于宗旨有禁锢的用户来说，这么的AI助手更是能够极地面提高他们使用数字确立的便利性。

在企业环境中，OmegaUse这么的技艺可能会透顶改变好多职责经过。客服东谈主员可能不再需要手动在多个系统间切换查找信息，AI可以自动完成这些操作。数据录入员的大部单干作可能会被自动化，让东谈主类能够专注于更需要创造性和判断力的任务。

不外，这种技艺的普及也带来了一些需要想考的问题。当AI能够像东谈主一样操作各式软件时，如何确保信息安全和秘密保护变得愈加要紧。如何戒备坏心AI进行未授权的操作，如何确保AI的行径可控和可诠释，这些齐是需要进一步磋议和范例的领域。

从更宽阔的视角来看，OmegaUse代表了东谈主工智能向着更通用、更实用标的发展的要紧一步。过去的AI无间只可在特定领域阐发作用，比如棋战的AI只会棋战，翻译的AI只会翻译。但像OmegaUse这么的系统展示了AI学习和适合不同任务的后劲，这是通向着实通用东谈主工智能的要紧里程碑。

磋议团队示意，他们接下来的职责重心将是进一步提高AI在复杂、多要领任务中的阐发，以及增强AI的安全性和可控性。他们还计算彭胀系统的话语接济领域，让更多不同话语布景的用户能够受益于这项技艺。

说到底，OmegaUse的降生标记着咱们正在干涉一个全新的数字交互期间。就像从敕令行界面进化到图形界面极地面镌汰了电脑使用门槛一样，智能界面操作技艺可能会再次创新性地改变咱们与数字确立的交互模式。改日的电脑和手机不再是冰冷的器具，而更像是能够雄厚咱们需求并主动协助的智能伙伴。

天然，技艺的发展老是渐进的过程。诚然OmegaUse一经展现出了令东谈主鞭策的武艺，但要着实完结AI十足替代东谈主类进行复杂的界面操作，还需要更多的技艺冲破和实践考证。但可以细主义是，这个标的的磋议正在为咱们打绽放向更智能、更通俗的数字生存的大门。关于心境东谈主工智能发展的读者来说，可以通过论文编号arXiv:2601.20380v1查找更多技艺细节。

Q&A

Q1：OmegaUse系统是什么？

A：OmegaUse是百度前沿磋议部门开采的智能系统，能够像东谈主类一样操作电脑、手机等数字确立的图形界面，包括点击按钮、输入笔墨、滑动屏幕等各式操作。

Q2：OmegaUse能在哪些确立上使用？

A：OmegaUse接济多种平台，包括安卓手机、电脑桌面系统和网页浏览器，能够跨平台施行各式界面操作任务。

{jz:field.toptypename/}

Q3：OmegaUse的准确率有多高？

A：在不同测试中阐发互异，在ScreenSpot-V2测试中达到96.3%的准确率，在AndroidControl测试中达到79.1%的要领得胜率，举座阐发优异。