V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
mathzhaoliang
V2EX  ›  问与答

视觉检测车辆轨迹

  •  1
     
  •   mathzhaoliang · 2020-04-14 08:34:53 +08:00 · 3208 次点击
    这是一个创建于 1717 天前的主题,其中的信息可能已经有所发展或是发生改变。

    做了一个纯视觉检测车辆轨迹的项目,可以从视频中提取每个车辆的轨迹,速度,方向等信息。

    演示视频地址如下:

    https://weibo.com/tv/v/IDf3tv2vR?fid=1034:4493526373695499

    还有很多需要改进的地方,正在开发中,最近会把演示版的代码放出来。感兴趣的朋友可以在 github 上留意:

    https://github.com/neozhaoliang

    这个程序只需要你用手机拍一段视频,并且采集视频中 >=4 个点的 GPS 坐标即可。(手机相机畸变很小,可以近似理解为理想相机模型,所以无需标定内参)。然后它计算场景中地面上坐标点和像素之间的对应关系,使用 yolov3  检测,并使用 Kalman filter 和 RTS smoother 做轨迹的平滑处理。原理并不复杂,主要难点在追踪时候遮挡导致的轨迹丢失上。这个有一些办法可以解决,后面的演示版本代码会展示一些处理技巧。

    第 1 条附言  ·  2020-04-14 13:52:42 +08:00
    大家有问题可以留言,我会尽量回答,不必等到代码公布。
    第 2 条附言  ·  2020-04-14 13:54:50 +08:00
    大家有问题可以留言,我会尽量回答,不必等到代码公布。
    第 3 条附言  ·  2020-04-16 12:14:10 +08:00
    第 4 条附言  ·  2020-09-16 13:33:09 +08:00
    代码已经更新了,大家可以去 github 上下载并运行。
    第 5 条附言  ·  2020-09-16 13:33:47 +08:00
    21 条回复    2020-09-17 12:19:53 +08:00
    id7368
        1
    id7368  
       2020-04-14 09:01:23 +08:00 via iPhone
    马克一下
    MekoPan
        2
    MekoPan  
       2020-04-14 09:21:14 +08:00
    好东西,标记一下
    tululala
        3
    tululala  
       2020-04-14 09:27:01 +08:00
    好东西
    tz894305532
        4
    tz894305532  
       2020-04-14 09:28:06 +08:00
    收藏一下
    siboom
        5
    siboom  
       2020-04-14 09:31:09 +08:00
    有点帅
    Cyron
        6
    Cyron  
       2020-04-14 09:45:33 +08:00
    膜拜大佬
    CEBBCAT
        7
    CEBBCAT  
       2020-04-14 09:50:18 +08:00
    @id7368 #1
    @MekoPan #2
    @tz894305532 #4

    推荐本站的收藏功能
    kop1989
        8
    kop1989  
       2020-04-14 10:26:54 +08:00
    赞,这个真是好
    tyutliukai
        9
    tyutliukai  
       2020-04-14 10:36:09 +08:00   ❤️ 1
    研究生方向相关,follow 了
    lpf0309
        10
    lpf0309  
       2020-04-14 10:38:46 +08:00 via Android
    虽然可能用不上,也关注下吧
    id7368
        11
    id7368  
       2020-04-14 12:23:03 +08:00 via iPhone
    @CEBBCAT #7 已收藏但我收藏时无人回复,担心帖子沉下去所以才回复个马克的。
    opengps
        12
    opengps  
       2020-04-14 12:46:53 +08:00
    mark,顺便给你补个场景假设,可能可以顺路研发出来 https://www.opengps.cn/Blog/View.aspx?id=462&from=v2ex
    mathzhaoliang
        13
    mathzhaoliang  
    OP
       2020-04-14 13:34:09 +08:00
    @opengps 识别车牌需要比较近的距离,或者分辨率高的镜头才能拍摄清楚,这会限制监测的范围。分析车辆轨迹是需要一段距离的数据才能拟合得准确的。这个程序可以拍摄并分析车辆运动轨迹,判断是不是走错了车道或者不按照规定转向、超速之类的。
    Rico
        14
    Rico  
       2020-04-15 00:23:56 +08:00
    不错,期待
    mathzhaoliang
        15
    mathzhaoliang  
    OP
       2020-04-16 12:16:14 +08:00
    刚刚更新了一个新视频,见上面的附言。

    这个项目只需要你有一部手机来采集 gps 坐标和拍摄视频,不需要任何其它设备 (高精度惯导 /标定板 /尺子)。非常方便个人复现。
    csx163
        16
    csx163  
       2020-04-17 00:16:37 +08:00
    感觉没有透视,离得越近车速越快
    mathzhaoliang
        17
    mathzhaoliang  
    OP
       2020-04-17 00:48:01 +08:00
    @csx163 远处的路口是红灯,过去的车都在减速
    vincentxwh
        18
    vincentxwh  
       2020-05-06 11:05:16 +08:00
    这个是在固定摄像头上做的物体追踪,如果摄像头是装载在车上,那用这套方法得到的世界坐标系下的车辆坐标还准确吗?
    mathzhaoliang
        19
    mathzhaoliang  
    OP
       2020-05-06 11:18:39 +08:00
    @vincentxwh 如果是装在车上,就必须计入车辆自身运动,但是方法原理是一致的。"准确" 这个词的含义需要阐述,理论上视觉只能给一个大概的位置估计,并且需要一段时间的观察之后才能关联轨迹、给出方向和速度的估计。纯单目相机用于复杂的交通场景是不太可能做到实时并且准确的。
    cppc
        20
    cppc  
       2020-05-13 22:41:13 +08:00
    关注一下,期待开源
    danRen
        21
    danRen  
       2020-09-17 12:19:53 +08:00
    关注中
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1355 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 23:52 · PVG 07:52 · LAX 15:52 · JFK 18:52
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.