图文大模型开源的一般就 3b ,7b ,72b 。应该是某种原因限制了多模态模型的大小?比如图片不像文字一样自回归预训练大模型?单文本的 600b 都有,这是不是意味着 gpt4o 其实模型并没有 gpt4 大?那对比的时候这些多模态模型应该打不过单文字模型吧?
1
naclfish2333 38 天前 via iPhone
忘记在哪里看到一个说法了,多模态模型 8b 、9b 这样的大小效果已经不错了,参数量提升带来的效果提升不是很明显
|