如何能训练 AI 操作软件？

[wildmaker]

发现一个需求，工作中要用多个仿真软件，软件操作重复性高，软件现成的接口几乎没有，求教有什么方法可以自动化？

看了看开源项目，依然没有思路，🤣

话说我觉得这需求可以商业化，不过容易被 AGI 一下子干死

能搞钱的需求太难找了，现在找到的需求都 TOO HARD ，无力吐槽

补充：操作路径并不严格，是有“思路”的，大致相当于调参过程。
具体例子 ：用仿真软件进行换热器的设计计算，如果结果不理想，要调整参数再来一次。

[GooMS]

RPA

[sillydaddy]

现在的大语言模型应该就可以做到。只需要开放给它通过 UI 操作软件的权限。

我最近正好也想找一个这样的工具，平时的开发工作，编码完成后，需要点击很多次 UI 来调试时，也可以用到。

[line]

要直接将屏幕内容输入给 AI 目前还是很难的，AI 自主再通过操作鼠标键盘操作 PC 。 这个难度相当于：操作二维世界的机械手。

[gaobh]

通过无头浏览器操作，传统爬虫怎么搞的原理一样

[iloveayu]

1 楼正解，对接 UI Path 这类的 RPA 软件，应该是最快的。

[windmoonwind]

具体啥操作啊，如果就是规律的条件化操作，感觉你这需求按键精灵类的就能做到，用不着上大模型啊....
或者用这个水哥版 RPA
https://github.com/xlbljz/waterRPA

[SWALLOWW]

这么说我能大模型玩游戏啦

[youyoumarco]

按键精灵+1

[wildmaker]

@windmoonwind 不是路径严格的操作，需要根据结果判断下一步动作

[cat9life]

之前记得在 hackernews 上见过一款调用 chatgpt 来操作的软件。

[windmoonwind]

@SWALLOWW 今天刚看到一则新闻，有个团队趁热训练 AI 打黑悟空，死了 1000 多次，把第一关过去了...

[lneoi]

向大模型解释各个参数信息，然后返回参数数据，实际调整由另外的软件去操作

[Baymaxbowen]

web 端有类似工具吗，我想让设计个 agent ，来实现类似 UI 自动化的操作

[rekulas]

你这需求似乎 cradle 很适合 https://github.com/BAAI-Agents/Cradle