那他为啥对中文支持还挺好,而且中文的回答并不比国内模型差呢?
既然不让中国人用(甚至港澳 IP 也用不了),为何搞简体中文版本?
难道是为了海外华人特别是还用简中的人使用的吗? 那才有多少人啊,数量级也就百八十万吧。
还是说这 AI ,在训练或推理时,对于多一种语言支持,其实并不费什么事儿?
还有就是到底是中国想用而不得,还是 GFW 也墙了 claude ,这个有懂的吗
那他为啥对中文支持还挺好,而且中文的回答并不比国内模型差呢?
既然不让中国人用(甚至港澳 IP 也用不了),为何搞简体中文版本?
难道是为了海外华人特别是还用简中的人使用的吗? 那才有多少人啊,数量级也就百八十万吧。
还是说这 AI ,在训练或推理时,对于多一种语言支持,其实并不费什么事儿?
还有就是到底是中国想用而不得,还是 GFW 也墙了 claude ,这个有懂的吗
1
aes114514gcm 1 day ago
google 的大部分业务中国大陆也用不了,为什么还要做简体中文的本地化呢?
|
2
capric 1 day ago 用中文预料训练啊
|
3
mytsing520 PRO 1.境外华人华侨,使用中文,并且使用简中的比重在逐渐增大;
2.境内,用中转站喂养大模型的中文能力; 3.没法用是双向奔赴,对面既不想给中国用,中国也不想让这个东西因为不受控而在国内用途广泛,参考 Google 。 |
4
jaoyina 1 day ago
大模型的训练资料包括整个互联网,理所当然包括各种语言的互联网资料,没必要特别去排除吧。
|
5
idblife 1 day ago
你这是小看海外华人数量了
你可以问问 claude 海外有多少人使用简体中文 |
6
junoho 1 day ago 还有新加坡,马来西亚也是用简体
|
7
zhaiyuxin103 1 day ago
|
8
bzkmsjy 1 day ago via Android 因为需求的人少就不用理会,这种思想是很可怕的,或许这也是国内软件无障碍如此糟糕的原因之一吧。
|
9
nc 1 day ago 感觉楼主就是揣着明白装糊涂,这种帖子都月经了
|
10
ndxxx 1 day ago via Android 两个冷知识:
1. 「简体中文」不仅仅在我国被广泛使用。 2. 「简体中文」/「简化字」不是你裆的创造发明。 |
11
intoext OP @nc 真不是装糊涂,虽然上面大家的回答我也能猜出一二三--不然不配在 v2 混了,但是主要还是想印证一下。并且 google 有中文版,也是历史原因, 一开始中国大陆是允许 google 运营的。但是 A\的东西明显不是,一开始就有“歧视”中国大陆的意味在。
|
12
cppc 1 day ago
中国不能用是政策问题,模型支持中文语料是技术问题。 哪天政策变了,重头训练模型?
|
14
106npo 1 day ago
如果你真的是想讨论大模型训练
那结论是 多支持一个语言并不需要太多语料 |
15
crysislinux 1 day ago via Android
虽然海外华人多,但是我感觉中文比当地语言好的人比例不大吧。
|
17
zfyime 1 day ago
你说百八十万 我都想笑 真是没概念啊
|
18
jiangzm 1 day ago
任何技术都要在党的指导下开展工作,大模型也不例外。没有内容过滤的大模型岂不是洪水猛兽,使不得使不得。
|
19
Duolingo 1 day ago
就是拿你的数据训练,然后不给你用,你能咋地 doge 。
A\还切了不少实体书用来训练,我相信其中肯定有珍贵的版本无了。 从表面上看,毕竟和军方有着合同关系,不给用也是正常操作。 |
20
diudiuu 1 day ago
他的网站还有 app 始终没有简体中文,人家不给用
|
21
ntdll 1 day ago
以我浅薄的基础,LLM 对于语言的支持并不困难,主要还是在 Tokenization 阶段,训练阶段语料少的语种需要更多的 token 才能达到相同的效果。
|
22
ndxxx 1 day ago @ndxxx 既然楼主号称自己不是在装糊涂,那么我就稍微认真的回答一下。简单来说就是机器/AI 翻译的能力或者说模型的能力进化了:
1. 早期的统计机器翻译和早期神经机器翻译,很多时候是按语言对训练的:A 语言 ->B 语言; B 语言 -> C 语言; A 语言 -> C 语言。此时如果没有足够的“泰语 ->冰岛语”双语平行语料,那么就会引入 pivot language:泰语 -> 英语(pivot) -> 冰岛语 2. 现代 LLM 早已不需要显式 pivot ,是因为它不是简单的 A 语言词句映射到 B 语言词句,而是在一个统一模型里学到了很多语言和知识之间的关联。这个“跨语言迁移”的能力,底层机制就是常说的共享语意空间 shared semantic space 。 |
23
JiMuChan 1 day ago 盲道、无障碍设施根本就没几个人用,干嘛还要建设呢
|
24
ixcode 1 day ago 因为大(语言)模型最擅长的就是搞语言,不管是中文英文这样的自然语言,还是 java python 这样的编程语言,都是 LLM 最擅长的内容,也是对翻译和编程这两个领域带来最大的革命性的原因
|
25
XenoGear 1 day ago
谷歌有全世界的数据,中文语料实际上比中国绝大多数团队都强,而且真洗数据不会分那么细的,到底洗不洗某个语言的数据,尤其网页数据很多就是中英混杂的
|
26
jonty 1 day ago
你先明确一下,他们实际上不是针对中国人,是针对中国地区...
|
27
94 1 day ago
@intoext #11 ,那就从你这个角度出发延展。虽然 A\ 有点魔怔,但也只是因为当前政治环境下 PRC 是对立面。可以理解为是“敌意”,并不是“歧视”。如果政治环境变化了就不一定还是对立面了。
|
28
dyvdy 1 day ago via iPhone
非中国大陆,会讲中文的华人应该就有 5000 万以上,台湾 2300 万,香港 700 万,马来西亚 700 万,新加坡 300 万,美国 300 万+,再加上其他国家零零散散的移民,市场已经挺大了吧…
|
30
lmmlwen 1 day ago
可以看看 Anthropic 首席科学家的采访,对中国或者“共产主义”的看法
|
31
docx 1 day ago via iPhone
Cladue 本来就没支持中文,你可以去 web 设置里看有哪些语言。至于语料是中文,这是另外一回事。
|
32
urlk 1 day ago
claude api 文档是有中文的, 反观 OpenAI 的却没有
|
33
zzutmebwd 1 day ago
Anthropic ( Claude 开发团队)的核心技术与研究团队中,华人或华裔比例大约在 16.4% 至 20% 之间。
|
34
Bad0Guy 1 day ago via iPhone
@intoext #11 论歧视而言 A\真不如早期的 OpenAI ,+86 不能注册并且必须要你验证手机号不,plus 还不允许国内卡支付,A\刚推出那会儿都不会强制要你验证手机号。从一开始这两家跟国内就是双向墙。
|
36
deplives 1 day ago
你搞混了一个概念
中文不是中国人的专属,A 社只是不想让中国大陆地区使用,而不是中文使用者使用 你就是英语母语者,在中国的环境下 A 社同样不欢迎使用 |
37
aogu555 1 day ago
马来西亚+新加坡也有 1000 万用简体中文的华人啊,然后还有繁中的几千万,这中文用户也不少啊
|
40
TimPeake 1 day ago
楼主 你知道一个事情吗?大概就是,前段时间,他们的一个 CEO 发表了言论,大致意思是,卖给中国显卡发展 AI , 跟卖核武器跟朝鲜差不多。作为一个盈利目的的私企,这态度,只要是个正常人,都能看出来,是有点主观反华的意味的,根本就不是普通的配合政府法规要求。
国内环境:“爹 您 claude 能卖我会员吗” anthropic: 滚!捞汁就是不卖!偷摸也不行!逮一个封一个! 我不是想故意制造对立渲染什么爱国情绪,作为消费者不要这么卑微,替代品又不是断崖式领先。实在不行用 copilot codex 之类的都行啊 |
41
chenliangngng 1 day ago
你可以直接搜索下海外华人华侨的数量,快和韩国人口相当
claude ceo 是个意识形态入脑的反华斗士,或者说,他可能只有这样才能拿到米国军方订单,以便获得巨量的融资来训练模型 |
42
lscho 1 day ago 楼上一个个这么自信的回答中文不是大陆专属,就是不敢正面回答一个问题。
A/到底用没用大陆的语料库训练?他自己敢说没有吗 |
43
idealhs 1 day ago
Simplified Chinese != zh-CN
|
44
icyalala 1 day ago
就算排除中国大陆,用简体中文的人口也有几千万的量级(新加坡/马来/其他移民)
按这个量级算,相当于韩语/荷兰语/越南语人口 你要考虑国际化,你肯定需要考虑这所有些语言 换句话说就算用荷兰语/越南语去聊天,模型能力也不会差到哪去 |
45
shaozelin030405 1 day ago
1. 公司是有国界的
2. 海外有华人,汉语使用很多 3. 哪天政策调整,中美关系超缓和,可以在中国做生意呢?那没做的现做啊。自己孩子都要上小学了,你问孩子名字叫啥么 |
46
vanillasky 1 day ago
和中文有毛关系,数据都是跑在语义空间里,你用任何所知的语言都一样
|
48
zhonghao01 1 day ago
它只是让工作在中国的人用不了,不区分哪里人。
|
49
iyaozhen 1 day ago
有些人还是不知道 claude 和 Google 被墙不是一回事
claude 是中国政府不准你用,claude 公司也不准你用 |
50
sammy520 1 day ago via Android
正好,作为法律工作者,我最近有个相对复杂的案子,分别对比了几个 AI ,就是把所有资料扔进去,看它对我的辩论意见和思路有什么想法。结论:豆包还行,但过于简单,分析思路不够开阔,没有主动发现其他思路提醒我的能力; gemini ,讨好型人格,我说啥它都跨一阵,然后分析的内容比豆包详细,结论都差不多,比豆包略强,但法律引用极容易错误,甚至给我伪造法条……; Claude 最强大!没有废话,各种思路和依据给我分析的好好的,在我的不断追问补充下,它得出的结论和建议我认为已经接近完美!
|
51
lujiaosama 1 day ago
anthropic 这种不纯血的资本家真让人挠头,无视 CN 这块巨大的蛋糕层层设限。说他是理想主义者又根本配不上,说他资本家又是半吊子。
|
52
catazshadow 1 day ago |
53
meteora0tkvo 1 day ago
生活在中国大陆海外的中文母语者也不少,数量甚至比其他的小众语言的使用者人数都多,没有理由不支持中文。而且 ceo 歧视并不是真多所有的中国人,只不过歧视生活在中国大陆的中国人而已。
|
55
unusualcat 1 day ago
1 ,中美冷战,意识形态问题. 2 ,尽可能防止被国内厂家蒸馏
|
56
GeruzoniAnsasu 1 day ago
有没有一种可能:模型训练的重点不是语言,而是 **知识**。
Transformer 架构天然能抹平语言差异,还记得 ATTENTION IS ALL YOU NEED 吗?只要中文语料存在大量知识这个客观事实存在,任何可预测的仍采用 GPT 架构的模型代际就一定会拿中文语料训练,也就一定能完美支持中文。就算 A\这家公司足够反华到上了一个 censorship 模型专门屏蔽中文输出,底层模型也是必须用全语种训练泛化能力的。i.e.「支持中文」 |
57
qinrui 1 day ago
@meteora0tkvo 歧视用百毒的中国人
|
58
anmie 1 day ago 看着这帖子里的评论,现在 V2 的环境,真是用恶臭形容也不为过了。
|
59
AEDaydreamer 1 day ago
在大模型时代,翻译已成为一项基本能力。其他语言同样可能借鉴中文语料翻译后的信息,且对于如此大参数量的模型而言,中文语料是必不可缺的。
|
61
bzkmsjy 1 day ago via Android
@ss2730 事实就是相当多国内开发者认为弱势群体数量太少,甚至一辈子都没见过一个,所以软件有没有无障碍无所谓,而不是弱势群体需要关爱,开发过程一定要注重无障碍的适配工作,另外不是我混淆了,我自己就是被混淆的那一类人
|
62
datou 1 day ago
LLM 最擅长的就是翻译
|
63
whatsyouname 1 day ago
@mytsing520 大模型也要讲政治嘛,你不讲政治就不要来我们这里了
|
64
wangtian2020 1 day ago
美国高级程序员半壁江山不都是华人吗
是国内产品 i18n 做的太差,害了你 |
65
coldmonkeybit 1 day ago
等下真不支持中文,你又不乐意了
|
66
gogozs 1 day ago
你上 V2EX 不也是翻墙了么,局域网墙什么,不墙什么,你还思考上了,这是你该关心的事情么
|
67
notaCoder 1 day ago
我日常使用 chatgpt 是用英文指令的,同时用 chatgpt 等 ai 学习其他语言,诸如日语、西班牙语、法语,那么如果一个只会英语的美国人学习中文,难道 ai 只能回答英语?
|
68
MiHwAppleTslFan 1 day ago
因为 AI 时代做个 i18n 太简单了
|
69
niubiman 1 day ago
为什么要排出简体中文呢? 既然是大模型, 那知识不是越多越好吗? 只要语料充足,那就值得训练. 你的想法有点奇怪
|
70
rootOfAdmin 1 day ago
@catazshadow 卧槽,没想到还有这样清奇的大殖子视角,受教了。
|
71
rootOfAdmin 1 day ago
@iyaozhen 谷歌退出中国是它自己不遵守中国法律,并不是中国政府不允许它在中国运营。苹果退出了么?明显没有,并且市占率一直在攀升。
|
72
qieqie 1 day ago
让某个 LLM 刻意不学会某种语言可能比支持更麻烦
|
73
johnnyyeen 1 day ago
不让大陆人用,没说不让华人用
|
74
rootOfAdmin 1 day ago
@anmie 恶臭已经不是三两天的事情了,以前我是拉黑大法,现在是打标签大法,看他们表演
|
75
PromiseResolve 1 day ago
@leglo 有些人就是揣着明白装糊涂
|
76
lizy0329 1 day ago
中文 跟 中国,是两个概念
|
77
catazshadow 1 day ago via Android
@rootOfAdmin 法律也要看是什么法,侵害普通公民的法律只能说谷歌做的对
|
78
vipfts 1 day ago
@catazshadow #52 受害者有罪论,您纵观美国建国以来的三百年历史里,中国做了什么伤天害理的事情了吗?
|
79
lel020 1 day ago
不让中国人访问是他们的政治正确,
不支持中文的话就是自断一臂了,完全不是一类问题, |
80
ltux 1 day ago
|
81
buydip 1 day ago
不让中国用和不让说某种语言的人用。是两个层面的事情。
|
82
seenthewind 1 day ago
不是,大伙是真不知道吗?
美国 GOV 早就出台了政策,禁止提供服务,他们开发中文是可以的,但是是真的不敢提供服务。 就是这么简单的事情,哦对了,曾经有个外企大吼一声然后自己主动不提供服务的属于例外。。 |
84
zwzwzwzwzxt 1 day ago
我理解模型在训练的时候就已经学到中文语料了,再单独进行屏蔽没有意义。不过除模型本身外的一些服务,比如语音输入和输出都不支持中文,也能表明人家的态度了吧。
|
85
hnliuzesen 1 day ago
可能因为这些公司内部都有好多华裔吧
|
86
okrfuse 1 day ago
参考 Google
|
87
catazshadow 1 day ago via Android
@vipfts 你说呢?🤣
|
88
garipan 1 day ago
@idblife #5 海外简体华人+1
另外,模型训练怎么可能漏掉简体中文这么大一个语料库呢,就算只是为了模型的智力也不可能整个扔掉嘛。 更重要的是,对于模型来说,任何语言几乎都是一样的(除了 Token 效率)。之前看 Anthropic 的论文,不同语言的同一词汇在模型的向量层面是非常临近的,对于模型来说,无论是中文还是英文,都会被投射到同一个高维语义空间,然后再使用共同的底层抽象思考,他用英文学到的知识,无需翻译就可以直接输出为中文。所以并不是说专门学中文,中文才会变好。 |
89
rootOfAdmin 1 day ago @catazshadow #77 来来来,那你说说,要求谷歌遵循中国法律,不搞什么黄赌毒,数据放中国,侵害哪些普通公民法律了。张嘴就来,就你是正义人士,世界公民,道德高地的圣斗士么
|
90
yxzblue 1 day ago
几乎所有的国外大模型都适配了中文 说不定哪天中国就对外开放了 总不能没有准备吧
|
91
Mandelo 1 day ago
多语言不就是顺手的事?又没啥开发成本
|
93
catazshadow 1 day ago via Android
@rootOfAdmin 还是天真
|
94
Cu635 1 day ago
@ndxxx #10
有一批人可是在把“简化字”叫做“残体字”之后攻击裆的🐶️ @Duolingo #19 @lscho #42 是的,就是吸血,用你的数据用你的语料,之后不给你用。 切掉实体书,这就是所谓的“四库全书”是吧。 @94 #27 @lujiaosama #51 是“敌意”和“歧视”全都有。 @TimPeake #40 叫的连“爹”都不是,而是“主子”。 @catazshadow #52 @rootOfAdmin #70 baidu 可不是民族主义。 @vipfts #78 做了:文化上在客观方面阻碍了中国自己的科学技术的发展,没有发展出现代科学技术,生产力不足,中国老百姓的生活得不到改善,也一直无法在上层建筑方面影响封建主义和官僚主义,这不是伤天害理是什么? |
95
ndxxx 23h 44m ago via Android
@Cu635 每种意识形态阵营都存在不友善言论,但只要不是无脑,我觉得都有讨论空间。
港澳台甚至大陆,都有群体把「简体字」叫成「残体字」,且确实也会因此「攻击档」,其中有一定的合理性。 他们其中的一部分确实错误认为「简体字」是裆发明的,于是「为反而反」,那么你对等回击,把他们看作「低能🐶」,也不是不行。 但也有很多人是知道「简体字」并不来源自「裆」,而他们依然会因此攻击裆部,原因是:他们由于教育经历或地区习惯,乃至审美立场,就是认为「正体字」好看好用,而「裆」虽然没有发明「简体字」但极大力度的推广了「简体字」,所以他们不满从而攻击裆并贬低「残体字」,多少也是可以理解的😅 |
96
vincentWdp 23h 40m ago
中文和中国大陆的关系是? 然后怎么定义“对中文支持还挺好”?
|
97
liqingyou2093 23h 38m ago
翻译顺手的事,也不麻烦
|
98
mooyo 23h 35m ago
就在美华人你知道有多少么?
|
99
cutchop 23h 25m ago
连中文都不会的 AI 那不是弱智吗
|
100
rb6221 23h 8m ago
繁中人群使用的产品,也可以用简中语料训练,这不冲突
|