buaacss

贡献个低成本的方案

首先是分词，用 hanlp 的多语言分词模型就不错，tok 的分词效率很高。可以把自家的敏感词当作 force 字典加进去，然后对于误杀的，只要保证词长度比敏感词更长就能解决。

然后对每个分词作 ac 自动机检测，只要有一个命中就报错出来。

然后可以再做一层 zero-shot-classification ，把每个敏感词分个类，比如刀属于管制器械，但是刀剑神域是游戏，命中的时候判断刀剑神域是不是管制器械，可以进一步降低误杀概率，hg 上一大堆 zsc 的模型。随便搞一个，之后还能积累一波数据做个微调。

我们的场景相对来说没有太多敏感词，所以主要的性能消耗在 hanlp 的分词，实际运行效率非常高。10 万量级的词库，50 个 30-50 个字符的检测差不多 200-300ms 。

<img alt="" src="https://i.imgur.com/DUHY6ka_d.webp?maxwidth=760&fidelity=grand"> test

 泰斯特

 test

 测试

 上张图，架子放不下 4090 ，用乐高 diy 了一个，大小刚好合适。目前还没有烧接口。

https://item.taobao.com/item.htm?spm=a1z10.5-c-s.w4002-24199657618.30.665b5e772gTfaq&id=694709333551
https://item.taobao.com/item.htm?spm=a1z10.5-c-s.w4002-24199657618.20.665b5e772gTfaq&id=667265648824

他们家的扩展坞还可以的。我现在就用它接 4090 。pcie3.0 可以跑满。sd 跑图什么的很轻松。

玩儿 LLM 跑个 4bit 量化的 llma2 13b 没有问题。训练的话最高调过 13B 模型。

@ShadowPower 我使用的是 2080ti ，是 Turing 架构的。从我目前的测试上看，使用 fp16 会溢出，使用 bf16 按您的说法是会转回 fp32 ，会更慢。但是我确实看到加速了不少而且显存也下降了。

使用单精度，我 bs 最多只能设置到 8 ，需要大约 32 个小时训练
使用 bf16 ，我 bs 可以设置到 16 ，需要大约 16 个小时完成训练
使用 fp16 ，会直接溢出

从库的所有操作是 binlog 来做的，你在主库上进行了什么操作，从库上就会一样做一次。所以复制表，复制数据，最后 rename 表都会在从库上做一次。唯一要注意的问题是主从延迟，gh-ost 有一个参数可以控制复制速度，延迟高于这个值的时候就暂停复制。