1. 制作简单文本分类器的目标与整体设计
1.1 文本分类器的基本概念、典型应用与简单任务边界
我第一次接触文本分类器时，脑子里蹦出来的画面就是给一堆文字贴标签。说白了，它做的事儿就是让机器看一段文本，判断这段文本属于哪个类别。我拿“垃圾邮件识别”当例子给自己讲明白：输入一封邮件，输出“正常”或“垃圾”两个标签。这个过程中，机器不关心你写得多优美，它只找文本里反复出现的特征词、词组合或者字符模式。你把它当成一个自动分拣机就行，喂进去的是文本，吐出来的是类别。
从我用过的场景看，文本分类在生活里藏得很深。电商评论自动打上“好评/差评”标签、新闻按频道归类、客服工单分派给不同部门，这些活儿背后都有分类器的影子。我做过一个很小的项目，把用户反馈分成“功能建议”“故障报告”“吐槽”三类，人工看几百条就累得不行，训练一个简单模型之后，处理速度提升特别明显。我教朋友入门时也爱用这个例子，因为他能立刻感受到分类器解决的是重复劳动问题。
简单任务边界这件事，我踩过坑才明白。不是所有文本分类都适合“简单模型”上手。类别数量少、类别之间界限清楚、每条文本不太长、标注数据能凑几百条到几千条，这种场景适合做简单分类器。我试过拿一个二分类任务去套多标签场景，模型输出没法直接对应，改起来很麻烦。我的建议是先把任务收窄到两三个类别，文本长度控制在一两句话到一段话之间。边界定清楚了，后面的设计和评估才不容易跑偏。
1.2 从需求到方案：类别体系、输入输出与基线模型选择
我习惯从一个问题开始：到底要分什么？类别体系不能拍脑袋定。我有一次做“用户评论分类”，一开始定了八个类别，标注到一半发现“物流慢”和“包装破损”经常混在一起，标注员也犯难。后来我把类别合并成五个，标注一致性立马好转。类别体系要满足互斥、覆盖、可操作这三个感觉。互斥是尽量让一条文本只落在一个类别里；覆盖是别让常见情况没地方去；可操作是标注员看一眼就能判断，不需要查资料。
输入输出也得提前想明白。输入是单条文本还是文本加额外字段？输出是只给一个类别，还是附带置信度？我给别人做小工具时，输出会带一个概率值，方便使用者决定要不要人工复核。输入这边，我会明确文本长度上限、是否保留标点、是否处理表情符号。这些细节不提前定，训练出来的模型换个数据源就容易翻车。我的习惯是写一个简单的输入输出约定文档，哪怕只有半页纸，后面对齐起来省很多口舌。
基线模型选择上，我一般不会一上来就上复杂模型。朴素贝叶斯、线性分类器配上TF-IDF特征，在简单文本分类任务里往往够用。我拿朴素贝叶斯做过新闻标题分类，训练时间短，效果也能看。线性分类器在我处理中等规模数据时更稳一些，调参也不复杂。我的经验是先把基线跑通，得到一个可比较的分数，再去考虑要不要换更复杂的方案。基线模型的价值是给你一个锚点，后面所有优化都跟它比。
1.3 简单文本分类器的完整流程：数据、特征、训练、评估与迭代
我脑子里的完整流程是一条线：数据准备、特征提取、模型训练、评估、迭代。数据准备这块，我会先收集原始文本，再做清洗，然后标注。标注不是一次性活儿，我通常先标一小批，检查类别定义有没有问题，再扩大标注量。特征提取阶段，我常用词袋和TF-IDF。词袋简单直观，TF-IDF能压低常见词的权重。我试过在短文本上直接用词袋，效果还行；长文本用TF-IDF更稳。特征维度别一上来就拉满，先控制在一个合理范围，看看模型表现。
训练和评估要绑在一起看。我会把数据分成训练集、验证集、测试集，比例根据数据量调整。数据少的时候，交叉验证更靠谱。评估指标不能只看准确率，类别不平衡时准确率会骗人。我一般会看精确率、召回率和F1值，结合混淆矩阵找问题。有一次我的模型准确率挺高，但召回率很低，一看混淆矩阵发现它把少数类全预测成多数类了。评估这一步让我养成习惯：每次训练完都翻一翻错误样本。
迭代是让分类器变好用的关键。我拿到评估结果后，会先看错误样本长什么样，是标注错了、类别定义模糊，还是特征没覆盖到。针对问题改数据、改特征、改模型参数，再跑一轮。我通常不会一次改太多东西，不然不知道哪个改动起了作用。迭代节奏上，小步快跑比憋大招更有效。有时加几十条高质量标注数据，比调半天参数提升还明显。这个流程跑顺了，后面做Python实现和评估就有章可循。
1.4 相关搜索词导读：Python简单文本分类器实现教程与训练数据集准备及标注方法
我写这个系列时，特意把大家常搜的词放在导读里，方便你按需跳读。如果你想要“Python简单文本分类器实现教程”，后面第三章会从环境准备、依赖安装讲到代码结构，还会给一个能跑起来的最小示例。我不会堆一堆库名吓人，而是按实际项目顺序来：先装什么、代码分几块、每一步怎么验证。你看完应该能自己搭一个分类器，输入一段文本，输出一个类别。
训练数据集准备和标注方法这块，第二章会展开讲。我会聊数据来源怎么找、合规上注意什么、类别定义怎么写、人工标注流程怎么控制质量。标注这件事看着枯燥，它直接决定模型上限。我踩过标注规范写得太模糊的坑，返工成本很高。导读里提这些搜索词，是想让你知道每一块都有对应内容，不用一上来就焦虑。你按章节顺序走，或者只挑自己缺的部分看，都行。
2. 文本分类器训练数据集准备与标注方法
2.1 数据来源、样本采集与合规注意事项
我刚开始做分类器那会儿，总觉得数据嘛，网上随便爬爬就有了。真动手才发现，数据来源这件事得先想清楚用途。我常用的渠道有这么几个：公开数据集（比如新闻语料、商品评论合集）、自己业务系统里沉淀的历史数据、还有通过问卷或用户授权收集的反馈文本。公开数据集的好处是拿来就能用，缺点是和你的实际场景可能隔着一条街。我试过拿公开评论数据训练一个电商分类器，跑在自己业务数据上效果就打了折扣，原因就是语言风格和场景词汇对不上。
合规这块我吃过一次虚惊。早期做用户反馈分类时，我直接从后台导了一批文本，里面有手机号、地址这些个人信息。后来意识到问题，赶紧做了脱敏处理才继续用。我的习惯现在是：采集前先问数据来源是否允许用于模型训练，文本里有没有需要剔除的敏感字段，用户有没有明确授权。如果数据来自第三方平台，我会去看平台的服务条款有没有限制。这些事儿看着琐碎，真出问题时代价不小。我一般会在项目开始前花半小时列一个合规检查清单，过一遍再动手。
样本采集的规模，我的经验是小步起步。先抓两三百条看看数据长什么样，类别分布均不均衡，文本长度在什么范围。我做过一个客服工单分类，第一批采了500条，发现里面60%都是同一类问题，另外几类少得可怜。这种分布直接拿去做训练，模型会偏向多数类。采集阶段就要有意识地去覆盖各个类别，哪怕某些类别需要额外花力气去找。我通常一边采集一边记笔记，把数据来源、采集时间、大致分布都写下来，后面标注和划分数据集时用得上。
2.2 类别定义与标注规范设计
类别定义这件事，我踩过的最大坑是“觉得清楚但别人不这么想”。有一次我定义了“物流问题”这个类别，自己觉得一目了然，结果标注员把“快递员态度差”标进去，把“发货慢”标到“商家服务”里。回头一看，问题出在我没写清楚类别边界。后来我学乖了，每个类别除了写名称，还会写一句定义、两三个正例、一两个容易混淆的反例。比如“物流问题”我会注明：涉及配送时效、包裹破损、快递员服务态度；不涉及商家发货速度。正例反例一摆，歧义少了很多。
标注规范我通常写成一个小文档，哪怕只有一页纸。里面会包含：类别列表和定义、标注操作步骤、遇到不确定情况怎么处理、常见错误示例。我还会加一条“不确定就标记为待定”的规则，避免标注员硬猜。规范写完后，我会自己先标50条，看看有没有定义模糊的地方，再找一两个人试标，对比结果。这个过程能暴露很多纸面上看不出的问题。我记得有一次试标后发现两个类别在实际文本里几乎分不开，果断合并了，省了后面大量返工。
类别体系的设计原则，我总结成三个“能”：能一眼判断、能互斥归类、能覆盖绝大多数情况。一眼判断是说标注员不需要查资料或反复琢磨；互斥归类是说一条文本尽量只对应一个类别；覆盖绝大多数是说别让常见情况无处可去。我一般会留一个“其他/无法判断”类别兜底，但会控制它的比例，太高了就说明类别体系需要调整。类别数量上，我的经验是新手项目从三到五个类别起步比较舒服，超过八个类别标注难度和模型难度都会明显上升。
2.3 人工标注流程、质量控制与一致性校验
人工标注这件事，我的做法是先培训再上手。培训环节我会把标注规范过一遍，然后拿二十条已经标好的样本做练习，标注员标完后我和标准答案对照，逐条讨论分歧。这个过程看起来慢，但能省掉后面大量返工。我记得第一次带标注时省了培训直接开干，结果前两百条里有三成需要重标，反而更费时间。培训之后我会设置一个试标阶段，标一百条左右做一致性检查，通过率达标再进入正式标注。
质量控制我主要靠三个手段：多人标注交叉校验、定期抽查、以及标注界面里加“不确定”选项。多人标注不需要每条都做，我通常抽10%到20%的样本让两个人分别标，算一下一致率。一致率低的地方就是规范需要细化的地方。定期抽查是我自己或找另一个人随机抽几十条复核，看有没有系统性偏差。标注界面里的“不确定”选项很重要，它让标注员不用硬猜，这些样本我后续会集中讨论再定。我做过一个三分类任务，加了“不确定”选项后，标注准确率明显提升。
一致性校验这块，我常用Cohen's Kappa系数来量化标注员之间的一致性。刚开始觉得这个指标有点抽象，后来用多了发现它比简单一致率更靠谱，因为它排除了随机一致的影响。我的经验值是Kappa在0.6以上算可以接受，0.8以上比较理想。低于0.6的时候我会去看混淆矩阵，找到分歧集中的类别对，回头改规范或补充示例。有一次两个类别Kappa只有0.4，一看发现是定义里有一句话可以两种理解，改掉之后重新试标就到了0.75。一致性校验不是找标注员的茬，是帮我把规范磨得更清楚。
2.4 文本清洗、预处理与训练/验证/测试集划分
文本清洗我一般从“看得见”的问题开始：去除多余空格、统一全半角、处理换行符和特殊符号。这些看似琐碎，但不处理的话特征提取时会多出一堆无意义的词项。我试过没做清洗直接上TF-IDF，结果词表里混进了大量标点组合和乱码片段。表情符号和网络用语要看场景，我做社交媒体文本分类时会保留一部分表情符号作为特征，做正式文档分类时则倾向于去掉。HTML标签、URL链接这些我通常直接剔除，它们对类别判断帮助不大，反而增加噪音。
预处理阶段我会决定要不要做分词、是否转小写、要不要去停用词。中文文本我一般用jieba分词，英文用空格切分加简单词形还原。转小写对英文有帮助，中文场景下大小写问题少一些。停用词我有时候去有时候不去，短文本分类里停用词影响不大，长文本里去掉“的”“了”这类词能稍微降噪。我习惯把预处理步骤写成一个函数，每一步都可开关，方便对比不同组合的效果。有一次我发现去掉停用词后F1反而降了一点，原因是某些停用词组合在特定类别里有信号，之后就保留了这个开关。
数据集划分我通常按70/15/15或者80/10/10来分，数据量小的时候用交叉验证代替固定验证集。划分前我会先打乱数据，但会确保同一来源或同一用户的文本不跨集合出现，避免数据泄漏。我踩过一次坑：同一个用户的多条反馈同时出现在训练集和测试集里，模型在测试集上分数虚高，实际部署后效果掉了一截。后来我划分时会按用户ID或文本来源做分组划分。测试集我一般会留到最后再动，中间调参只用验证集，这样最后的评估分数才可信。
2.5 小样本、类别不平衡与数据增强策略
小样本是我经常面对的情况。标注数据不够时，我的第一反应不是硬训模型，而是想办法扩大数据。有时候可以从相似任务迁移，比如用公开评论数据预训练一个简单模型，再在少量业务数据上微调。有时候可以用主动学习思路，让模型先标一批高置信度的样本，人工只复核低置信度的部分。我做过一个五分类任务，初始只有三百条标注，用主动学习迭代两轮后，有效标注量相当于翻了一倍，F1提升了近十个百分点。小样本场景下，模型选择也要收敛，简单模型比复杂模型更不容易过拟合。
类别不平衡的处理，我一般先看比例差多少。轻微不平衡（比如6:4）我通常不特殊处理，评估时多看召回率和F1就行。严重不平衡（比如9:1）我会考虑几种手段：对多数类降采样、对少数类过采样、或者在损失函数里给少数类更高权重。过采样我试过简单复制少数类样本，效果一般，后来改用带随机扰动的增强方式，比如同义词替换、随机删词、回译。回译对小样本少数类挺有用，我拿它扩充过客服工单里的罕见类别，扩充后召回率有明显改善。降采样要注意别丢太多信息，我一般控制降采样后多数类不超过少数类的三倍。
数据增强我用得比较克制。文本增强不像图像那么直观，改过头会改变语义。我常用的是同义词替换（用词向量找近义词）、随机插入或删除少量词、以及句式改写。增强后的样本我会人工抽检一部分，确认类别标签没变。有一次增强过头，把“不推荐”改成了“推荐”，标签直接反了，后来加了抽检环节才避免这类问题。我的经验是增强比例控制在原始数据的20%到50%之间比较安全，增强后重新跑评估，看验证集分数有没有实质提升。增强不是万能药，数据质量永远是第一位的。
import os
BASE_DIR = os.path.dirname(os.path.abspath(file)) DATA_PATH = os.path.join(BASE_DIR, "data", "processed", "train.csv") MODEL_DIR = os.path.join(BASE_DIR, "models") MODEL_PATH = os.path.join(MODEL_DIR, "clf.joblib") TEST_SIZE = 0.15 RANDOM_STATE = 42
