如果线上环境没有引入用户反馈机制，那么分类器的分类效果是没有办法自动提升的。

例如广告点击这样的业务场景，给用户看若干广告，用户可以选择无视，点击，或者点击 X 关闭，进而可以通过用户的反馈 target，再把新样本放进去不断训练。所以建议结合产品和业务场景引入一个合适合理的反馈机制。

错误样本不需要重新训练，你可以手动设定他们的权重，如果是 heavily imbalanced dataset 的分类场景，建议使用 ROC & AUC （或带权重的）来作为评估。