V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xiaohupro
V2EX  ›  北京

Ollama 运行 Llama2 大模型,怎么友好的支持中文

  •  
  •   xiaohupro · 240 天前 · 2495 次点击
    这是一个创建于 240 天前的主题,其中的信息可能已经有所发展或是发生改变。

    大家在本地通过 ollama 运行 Llama2 大模型的时候如何友好的支持中文呢?我运行的时候默认都是英文回答,然后我用英文问它如何切换为中文它告诉我使用 llama2 -lang zh-CN 但是我在交互式里面执行该指令后并没有效果,回答的时候还是英文,大家是怎么设置的呢?除了在问题前表明用中文回答这种方式

    第 1 条附言  ·  240 天前
    感谢 @vacuitym 的分享,我重新下载了 llama2-chinese 模型,它是在 llama2 的基础上进行了微调,目前符合我的需求
    13 条回复    2024-07-23 20:31:24 +08:00
    waityan
        1
    waityan  
       240 天前
    ollama run yi
    idblife
        2
    idblife  
       240 天前 via iPhone
    同问,qwen 和 yi 感觉和 mistral 差不少呢
    paopjian
        3
    paopjian  
       240 天前
    llama2 没有用中文微调,虽然会说中文,但是回答肯定是英文优先,你找找有没有微调后的模型
    73cn4XL4Ufv3V65L
        4
    73cn4XL4Ufv3V65L  
       240 天前
    op 用什么配置的机器跑的
    vacuitym
        5
    vacuitym  
       240 天前   ❤️ 1
    ollama 上有个 llama2-chinese
    kaoshuiwan
        6
    kaoshuiwan  
       240 天前
    llama2 对于中文支持就是不好(包括词表中缺少中文 tokens 、语料少),可以换个模型试试。
    xiaohupro
        7
    xiaohupro  
    OP
       240 天前
    @leesin8848 我就是用一台笔记本,Thinkpad-P15v ,内存 16G ,我下载了 7B 版本的 llama2 测试,英文的表现还行。准备后面组一个机子试试
    xiaohupro
        8
    xiaohupro  
    OP
       240 天前
    @vacuitym 嗯嗯,我试试
    uniqueman
        9
    uniqueman  
       240 天前
    @huhailong1121 cpu 占用率怎么样的?一直在后台跑着吗
    unclemcz
        10
    unclemcz  
       240 天前 via Android
    @uniqueman 纯 cpu 跑的话占用率接近 100%,只有执行的时候会这样,ollama 会一直在后台,基本无感,只有跑模型的时候会 100%这样子。
    xiaohupro
        11
    xiaohupro  
    OP
       240 天前
    @uniqueman 我是在做测试,通过 ollama 的 API 接口调试前端,我自笔记本的话一开始还行,简单的问题响应速度可以接受,但是稍微复杂的问题就耗时间了,而且风扇呼呼的,如果是测试我觉得自己电脑就行,如果真要长时间用 serve 模式运行的话还是组装一台高配置的
    xiaohupro
        12
    xiaohupro  
    OP
       240 天前
    @unclemcz 嗯嗯,是的,默认开机它就自己后台运行着,但是基本不消耗资源,我电脑除了 CPU 我看 GPU 占用也挺高,估计也用到了
    kangfenmao
        13
    kangfenmao  
       115 天前
    设置一个 system prompt:使用中文回答,禁止使用英文
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   646 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 22:01 · PVG 06:01 · LAX 14:01 · JFK 17:01
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.