V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
maymay5
V2EX  ›  OpenAI

Sora 还没发布,但是我已经给 ta 制作了一个应用场景,基于万物终成营销号的理念

  •  
  •   maymay5 · 258 天前 · 1727 次点击
    这是一个创建于 258 天前的主题,其中的信息可能已经有所发展或是发生改变。

    AIBotPro 加入了一个新功能, [营销号视频生成] 由于 Sora 还没有发布,所以用 DALL-E3 暂时代替素材

    虽然 ta 只是一个玩具,但是 ta 的可玩性也没多高 ————AIBot 开发者

    广告时间:AIBot 有两代产品,初代闭源(针对小白用户),PRO 开源(针对发烧玩家)

    AIBot 初代(作者运营地址): https://maymay5.com

    AIBotPro(作者运营地址): https://aibotpro.cn

    AIBotPro 开源项目地址(含部署教程和保姆群): https://github.com/MayDay-wpf/AIBotPublic

    正式开始介绍 [营销号视频生成] 这个无聊功能

    功能位置:AIBotPro→产品中心→营销号助手

    大致思路:

    • 准备一篇文案
    • 切片分段
    • TTS 分片生成语音并合成完整音频
    • GPT 为文案创造分镜( Json 模式)
    • DALL-E3 根据分镜生成场景图片(后续等 Sora 发布就改成 Sora 的动态素材)
    • 合成图片列表为幻灯片视频,合并音轨
    • 完成

    下面是预览图

    • 文案切片,合成音轨 1bfca3e87907766d2ed803600f4c6c69.png

    • GPT 生成分镜 8ad8d702103eed356ba1eb22ae8fc836.png

    • DALL-E3 素材绘制 eb49e9bfc58a9bc4299b4b294b452d8e.png

    • 一切就绪,准备生成视频 7995738ae51eb6c84626e3d25ea78b96.png

    • 视频生成完毕 94a34ec2397825d1038e2b80eca95fe3.png

    14 条回复    2024-03-04 23:21:05 +08:00
    chanssl
        1
    chanssl  
       258 天前 via Android
    现在抖音那些小说推文就差不多是这种流水线生产的
    Rache1
        2
    Rache1  
       258 天前
    类似的早就有了……,之前在 B 站都看到过,文案像是 GPT 生成,然后改改,配音用的 AI ,画面里面全是爬虫根据关键字抓的匹配的,加上过渡动画。
    luckybigbear
        3
    luckybigbear  
       258 天前
    期待后续更新,相信这里提升产出效率和准确性是一种创新,作为商业化产品的转变
    存在过并不代表没有市场,人为干预的降低、明显的效率提升、画面及准确度的提升,都可以是在红海里杀出的利器
    期待后续更新
    maymay5
        4
    maymay5  
    OP
       258 天前
    @Rache1 那是要人工干预和剪辑的,剪映自带这个功能,但是他们最大的缺陷就是吃不下长文本,我解决了长文本的问题 ,和一站式全自动解决方案 :-)
    maymay5
        5
    maymay5  
    OP
       258 天前
    @chanssl 是的,不过还可以精细化一点,就等 Sora 公测了
    ZnductR0MjHvjRQ3
        6
    ZnductR0MjHvjRQ3  
       257 天前
    @maymay5 问题是你这个长文分镜如何解决掉主角不一致以及上下文理解呢
    maymay5
        7
    maymay5  
    OP
       257 天前
    @Motorola3 目前没有解决这个问题,但是我在 [创意工坊] 中解决了这个问题,不用 DALL-E3 直接生成,以插件形式让 GPT4 调用,这样大语言模型就会继承历史记录的描述,当然缺点也很明显,token 消耗几何倍数增长
    maymay5
        8
    maymay5  
    OP
       257 天前
    @Motorola3 也就是 DALL-E3 作为 GPT4 的 Tools
    ZnductR0MjHvjRQ3
        9
    ZnductR0MjHvjRQ3  
       257 天前
    @maymay5 对啊 我之前就实践过这个问题了 几乎是误解的 除非 gpt 支持 lora 但是显然目前没有
    maymay5
        10
    maymay5  
    OP
       257 天前
    @Motorola3 其实 Plus 会员的做法就是以插件形式调用 DALL-E3 的,虽然上下文中的角色绘制会出现差异,但是基本能保持一致的画风,我其实并不期望 GPT 生成的营销视频有很高的质量,而是能保证一些基础元素能成功合成,毕竟现在的短视频,素材也不见得很衔接
    maymay5
        11
    maymay5  
    OP
       257 天前
    @luckybigbear 谢谢,没那么大野心哈哈,但是会保持更新
    adorehb
        12
    adorehb  
       257 天前
    无法注册账号
    maymay5
        13
    maymay5  
    OP
       257 天前
    @adorehb 可以注册的哦,不过为了避免刷号,只允许 qq,gmail,163,126 邮箱
    maymay5
        14
    maymay5  
    OP
       257 天前
    @adorehb 注册成功会直接跳转到登录页,用账号登录即可,不会自动登录
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2614 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 04:47 · PVG 12:47 · LAX 20:47 · JFK 23:47
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.