V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
chizuo
V2EX  ›  机器学习

深度学习中如何找到影响模型效果最大的 X(向量)

  •  
  •   chizuo · 2020-02-09 21:30:29 +08:00 · 1237 次点击
    这是一个创建于 1780 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我不知道描述的清不清楚。
    一个实际例子:
    对于 NLP 中句子情感分类(正负情感),对于简单的 LSTM 或者 RNN 模型,有没有什么办法知道哪个样本(或者单词)对这个模型的效果影响最大?
    比如说一共 3 个样本,A、B、C,10 个 epoch 后,acc 达到 0.80
    去除 A 之后样本只剩下 B、C,10 个 epoch 后,acc 只有 0.1 了,那么 A 影响力很大。
    就是这个样本很重要。
    现在问题是如何找到这个样本 A ?
    谢谢大家,小白发问。

    3 条回复    2020-02-10 16:34:35 +08:00
    nightwitch
        1
    nightwitch  
       2020-02-09 23:47:04 +08:00
    从数据集中去掉部分数据,结果保持不变,这个数据集才算是能用的。如果从数据集中去掉某部分数据以后结果发生了变化,说明数据集的分布不均匀。
    chizuo
        2
    chizuo  
    OP
       2020-02-10 16:34:19 +08:00
    @nightwitch emmm,可能我描述有问题。这样子举个例吧
    训练一个网络判断文本是否是负面的,假设文本样本中存在 A 这个 word,每当存在 A,80%概率预测它都是负面的,去掉 A 之后,10%概率以下。
    现在问题是如何找到 A 这个 word ?
    chizuo
        3
    chizuo  
    OP
       2020-02-10 16:34:35 +08:00
    @nightwitch emmm,可能我描述有问题。这样子举个例吧
    训练一个网络判断文本是否是负面的,假设文本样本中存在 A 这个 word,每当存在 A,80%概率预测它都是负面的,去掉 A 之后,10%概率以下。
    现在问题是如何找到 A ?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3065 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 12:29 · PVG 20:29 · LAX 04:29 · JFK 07:29
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.