各位 大佬们 关于机器学习 数据集中特征少

[Liu6]

数据集中 只有一列 id 和 comment 然后 comment 全是中文 这个怎么进行处理？？？ 加特征吗 ？ 那应该加什么特征呢？？？？ 第一次接触文本数据集

[Liu6]

我是萌新 ！！！ 求各位大佬 解答！！！

[Liu6]

QAQ 么大佬解答吗？ QAQ

[SeaRecluse]

并没有看出哪里特征少，也不知道你是要做 NLP 的什么任务。情感分析？分类？自动回复？

[Liu6]

这里好像不能发图片 就是一列 iD 　　一列　评论　　类似　商店评论　　然后　在预测

[e3kiq0]

是不是应该有个具体点的预测目标？

[vsitebon]

发图片的方法： https://www.v2ex.com/t/408727?p=2

[Liu6]

@e3kiq0 一列　 ID 　一列　ｌａｂｅｌ一列　 comment 　　 label 　只有０或１　　０　代表 comment 中的好评论　１反之　　　 comment 　全是中文评论　上面是训练集　　　对这个训练集　操作　　然后对 test 集中的 comment 预测２０００条评论　看是０　还是１

[Liu6]

@vsitebon 看了 但是 还是云里雾里的 不会 QAQ 不知道怎么把电脑上的 图片 上传

[Liu6]

数据包含 2 个 csv 文件：

train.csv：训练集，共 10000 条，使用 UTF-8 编码，comment 和 label 用 Tab 分隔。

字段名称 字段说明
comment comment 即用户评论
label label 是评论的类别，有 0 和 1 两个值
test.csv：测试集，共 2000 条，使用 UTF-8 编码。id 与 comment 用“,”分割。

字段名称 字段说明
id 行的唯一标示，提交时需要一一对应提交结果文件
comment comment 即用户评论

[e3kiq0]

直接用 comment 学习效果怎么样？

[Liu6]

比赛链接 www.datafountain.cn/competitions/370 发链接要手机验证 HTTP 我删了

[duanxian1hao]

萌新说一下自己的想法，对 comment 进行分析，提取基础的特征，比如说字数；对 comment 按照词粒度生成 embedding，将 comment 转为向量表示；

[e3kiq0]

[email protected] 能不能分享一下数据？学习一下。感谢 。

[Eleutherios]

等等……#11 的意思是，比赛题不会做了，请外援出出主意？

It is unfair (

[Liu6]

@Eleutherios 不是 我做出来了 但是精度不高 想问下大佬们的 思路 只有 0.57 数据处理 我现在还在优化

[lv2016]

之前做过类似的文本情感分类，当时主要定义了一些负样本里常见的特征比如中英文混杂、特定词出现频率等

[TimePPT]

这不就是典型的二分类问题么……题目已经很简单了😂

[Liu6]

@TimePPT en 是的 我用的 svm 但是 我数据处理的不是很好 精度不高 主要是 一列是中文 加特征 或者 其他方法 我不知道 怎么选择 萌新 没什么经验 面对中文 应该怎么办

[TimePPT]

@Liu6 算力足够试试 RoBERTa 中文预训练模型？ https://www.jiqizhixin.com/articles/2019-09-05-6

[Liu6]

@TimePPT 感谢！ 我去瞅瞅

[misaki321]

svm 已经不适合这类题目了
用词向量+神经网络

[Liu6]

@misaki321 神经网络一开始有考虑 但是 我 个人觉得 最根本的原因是 数据处理的不好 我把中文 进行了 label 编码 了 我觉得这个是主要原因 我就一直不知道 中文 应该怎么处理

[xwhxbg]

bert 中文，把最后一层替换输出就行了，既不用分词也不用手动词向量，更不用手工提取特征

[xwhxbg]

首先震惊于这个比赛奖励居然是 100w，其次发现这是个训练赛，不知所以。。。
我用 bert 随便跑了一个 epoch，validation acc 0.91 看排行榜基本能进前 50 了。。。
https://colab.research.google.com/drive/1j9cBSsitjm2igaj50u9pwtu56XY3uBYg

[Liu6]

@xwhxbg 我没有接触过 Bert 今天下午 也看了一下 Bert 但是 有点懵!!