V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
masellum
V2EX  ›  奇思妙想

如果能用 LLM 控制自己的手机就好了

  •  
  •   masellum · 294 天前 · 1400 次点击
    这是一个创建于 294 天前的主题,其中的信息可能已经有所发展或是发生改变。

    今天又一次忘记记账的时候想到如果手机能自己帮我记账就方便多了;虽然已经有很多自动化方案,但是都不够自然。又仔细一想,实际上现在的 LLM 等技术已经可以实现这个功能了,只是没有人 /厂家有意愿 /能力做这个集成。比如说,如果手机可以以纯文字交互(这一点利用无障碍等技术也可以实现了),LLM 就可以自由控制手机,那么就可以实现像 “Hey Siri, do anything” 的效果,或者就像微软宣布的将会集成进 Windows 的 Copilot 的手机同位体。

    但是另一方面,手机系统厂家基本上不可能做这种功能。文字式交互界面实际上在 iOS 端上的无障碍 /朗读功能中就已经实现了,但是 iOS 一定不会像 Android 一样向一般应用开放无障碍权限,并且苹果也几乎一定不会引入这种功能;另一方面,具有无障碍访问权限的 Android 并不能像 iOS 一样保证无障碍的覆盖率。最后,如果没有这些系统厂家本身做集成支持,个人是几乎没办法实现这种功能的。我目前能想到的唯一的可能性是通过机械手触摸或者远程调试控制开启无障碍的 iPhone ,然后语音识别旁白读出的内容,再整理成文字后让 LLM 选择,最后再由机械手或者调试界面操作;这些技术都是相对成熟的。(不过这种想法很适合让某同学之类的 up 主出一期跟热点的视频)

    所以想想觉得真的很可惜,明明用于实现的每一项技术都是成熟的,但是却难以将其集成起来。好希望我的智能终端里可以住进一个真正的智能助理,而不是脑残一样的 Siri 。

    5 条回复    2023-06-11 14:59:33 +08:00
    czfy
        1
    czfy  
       294 天前
    iOS 不用想了,Apple 没那个能力(虽然果粉嘴里 Siri 收集了巨量真实数据,Apple 已经研发出来天网级别的 Siri ,只是不知道为什么没有发布)

    Android 是有可能的,因为国外都是用 Google 全家桶,有 Google Assistant ,哪天 Google 把现在投资的 Anthropic 收购了可以做整合,靠自己的 Bard 就挺难
    至于国内安卓,各手机厂商自己肯定做不了,落地上相对有可能的是和百度阿里之类的合作,但数据就要给出去,手机厂商自己应该也不愿意。如果厂商愿意,OP 你愿意把手机所有行为数据给百度阿里么
    maemolee
        2
    maemolee  
       294 天前
    你要的是高级版的 Siri 啊
    Biluesgakki
        3
    Biluesgakki  
       293 天前
    我也想用这种,昨天吃烤鸡两只手戴着手套, 很想用语音让 siri 帮我刷抖音 哈哈哈
    noahhhh
        4
    noahhhh  
       291 天前 via Android
    我感觉车机会先一步有这个功能,另外和楼主讲的一样,不同组件权限
    noahhhh
        5
    noahhhh  
       291 天前 via Android
    @noahhhh 怎么划分确认,操作有多少需要用户授权确认,想想还挺复杂
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3285 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 14:13 · PVG 22:13 · LAX 07:13 · JFK 10:13
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.