楼主在读博士，主要研究方向：
- 立体视觉、三维重建
- 图像处理
- 计算物理
因此想找个智能 MR 头戴设备用来做研究，水 paper
主要要求：
- 至少两个摄像头
- 能实时访问摄像头的图像数据
- 受限于计算算力，应该能实时传回计算机进行计算，再传回数据
- 能叠加显示图层（这个应该好办）
- 能简单地通过该设备交互、控制一些东西，作为计算参数
实验室手头有 quest2 ，很早之前买的，因为摄像头是黑白的很难达到要求。另外 quest 不直接开放 raw image 的权限给开发者。
看了一圈的 mr 头戴设备，包括 vp pico 等等之类的，都不给摄像头权限？据说 pico 弄什么企业授权可以用还是咋，但是还没深入搞。
不知道各位老哥有什么建议。很纠结，希望各位老哥能指点一下
14 条回复 • 2024-12-09 19:10:54 +08:00
 |
1
okakuyang 11 天前
苹果 vision pro 可以拿到摄像头
|
 |
2
dufldylan1 OP @okakuyang 适合搞这种科研研究吗？个人对苹果的感受就是，，不适合搞研究，适合用成熟的技术搞开发。一旦搞研究了总会碰到大大小小的苹果不给权限的东西
|
 |
3
winzkh 11 天前
hololens2 ，但好像停产了，系统维护不知道还有没有
|
|
4
dufldylan1 OP @winzkh hololens2 是单目 rgb+深度传感器吧？
|
|
5
okakuyang 11 天前
@dufldylan1 那得看你都需要哪些权限了，如果你能让实验室买个 vision pro ，那你大概也能无痛弄个开发者账号。起码作为开发者的权限你都是有的。
|
 |
6
pigdragon 10 天前
找人设计个电路,把那个摄像头的连接器接在转接板上,信号一分为二,一个采集了给电脑,一个给 quest2,quest2 控制,你电脑里读取计算,quest2 中的应用能自己开发么?通过网络读取你处理好的数据,综合显示
|
|
7
dufldylan1 OP @pigdragon 感觉这样 叠加显示的图层就不太好办了？毕竟 quest 里的图片坐标和额外的摄像头坐标不一样了
|
|
8
okakuyang 10 天前
vp 可以获取到两个主摄像头的流，左右，无 UI 。
实时录屏，用户视点，有 UI ， 至于自己图像识别到东西怎么映射回去没看，不过看官方的介绍应该也是能做的。 vp 就是台电脑，数据用 wifi 传出去传进来是没问题的。但是它的 wifi 速率最好也要考虑在内，因为这设备毕竟是个 90 帧的设备。 |
|
9
dufldylan1 OP @okakuyang 多谢老哥，我再调研一下
|
|
10
dufldylan1 OP @okakuyang 老哥了解 openxr 吗？现在我们三维重建渲染引擎是基于 openxr 开发的。然后显然 visionpro 不支持 openxr 。最近了解到 ALVR 这个项目能将 steamvr 串流到 visionpro ，steamvr 是支持 openxr 的。不知道这样一搞是否意味着我的 openxr 后端也能在 visionpro 上跑了
https://github.com/alvr-org/alvr-visionos |
|
11
okakuyang 10 天前
@dufldylan1 大概率是可以的，把 vp 当个串流显示器罢了。vp 现在所有渲染只能用苹果自家的，如果是串流 steam VR 大概就是把贴图渲染到半球体上吧。这样你只能固定在座位上摆头，能不能走动不知道。
|
|
12
dufldylan1 OP @okakuyang 啊是吗。。反正虽然我个人设备都是用的 apple 。。但是我对在 apple 上做科研还是比较抗拒的（笑哭😭
|
|
13
dufldylan1 OP 昨晚发现个项目可以拿到 camera 的数据，支持 pico enterprise 和 vision pro
https://github.com/styly-dev/EnterpriseCameraAccessPlugin 鉴于价格和个人偏见（= =）还是报备了一个 pico 4 ultra enterprise 。各位回头见 |
|
14
dufldylan1 OP 更新一下，据内部朋友帮我打听，pico 这个 camera 权限很难拿到，需要有一定量的采购才可能授权。即使是高校研究也是如此。
商业公司的嘴脸 |
Select Language