import jieba from collections import Counter
text = "自然语言处理入门很有趣，自然语言处理可以帮助我们分析文本。" words = jieba.lcut(text) word_freq = Counter(words) print(word_freq.most_common(10))
我走过不少弯路，才把NLP的学习路线摸清楚。一开始东一榔头西一棒槌，看论文、跑代码、调包，结果基础不牢，遇到新任务就抓瞎。后来我复盘自己的学习过程，也观察身边学得快的朋友，发现一条从文本预处理到预训练模型的系统进阶路线很管用。这一章我把这条路线拆成四个阶段，再给你时间规划和检查点。
2.1 第一阶段：文本预处理与经典NLP基础
我刚入门时，以为NLP就是直接上模型。结果拿到的文本里全是乱码、表情、HTML标签，模型根本跑不动。文本预处理是第一步，也是最能拉开效率差距的一步。你要学会清洗文本、分词、去除停用词、词干提取或词形还原。中文分词用jieba、HanLP，英文用NLTK或spaCy。这些工具帮你把原始文本变成模型能吃的数据。
经典NLP基础包括正则表达式、TF-IDF、n-gram、编辑距离、隐马尔可夫模型。我花了一周时间专门练正则，用re库提取邮箱、电话号码、日期。TF-IDF让我明白一个词在文档中的重要性。n-gram帮我理解上下文窗口。编辑距离用在拼写纠错里。隐马尔可夫模型虽然老，但它是序列标注的祖宗。这些知识不性感，可它们是你排查问题的底气。
我建议你在这个阶段做一个小练习：找一份中文新闻数据集，做分词、去停用词、统计词频、画词云，再用TF-IDF找出每篇新闻的关键词。代码不用长，五十行以内。跑通之后，你就能进入下一阶段。不要急着学BERT，地基没打好，楼越高越危险。
2.2 第二阶段：机器学习与词向量入门
从规则和统计跨到机器学习，是我学习路上的一个坎。我数学一般，看到逻辑回归的公式就头疼。后来我用scikit-learn跑了一个垃圾邮件分类，发现调用fit和predict就能出结果。机器学习阶段你要掌握：特征工程、逻辑回归、朴素贝叶斯、支持向量机、决策树、随机森林、模型评估。这些算法在文本分类、情感分析里依然好用。
词向量是这一阶段的核心。我最早接触的是One-hot编码，维度爆炸且没有语义。Word2Vec和GloVe让我眼前一亮。我用gensim训练了一个小语料，发现“国王”和“王后”的向量距离很近。词向量把词映射到低维空间，语义相似的词靠在一起。这个想法影响了后面所有的预训练模型。你可以用预训练好的词向量做文本相似度、聚类、可视化。
我的练习建议：用IMDB影评数据集，先做TF-IDF加逻辑回归，再做Word2Vec平均加分类器，对比准确率。你会看到词向量的威力。同时学习用t-SNE把词向量降到二维，画出来看看。这个阶段别追求SOTA，理解原理和流程更重要。
2.3 第三阶段：深度学习与序列建模入门
深度学习让NLP上了一个台阶。我一开始被反向传播、梯度消失、激活函数这些概念绕晕。后来我用PyTorch搭了一个简单的LSTM做情感分析，跑通后回头补理论，顺畅很多。这个阶段你要学：神经网络基础、词嵌入层、循环神经网络、LSTM、GRU、注意力机制、Seq2Seq模型。这些是理解Transformer和预训练模型的前置。
序列建模里，RNN处理变长文本，LSTM解决长依赖。我做过一个机器翻译的小demo，用Seq2Seq加注意力，效果比纯LSTM好。注意力机制让我第一次感受到“让模型自己决定看哪里”的妙处。这个阶段可以跑一些经典论文的复现，比如使用PyTorch官方教程里的序列到序列模型。不要一上来就手写所有层，先调用nn.LSTM，再逐步拆解。
练习任务：用LSTM做中文情感分析，数据集可以用ChnSentiCorp。试着调整隐藏层大小、学习率、dropout，观察验证集损失。再试试用注意力机制改进模型。这个阶段你会写更多代码，调试更频繁。保持耐心，每个报错都是学习机会。
2.4 第四阶段：预训练模型与Hugging Face生态入门
到第四阶段，你终于可以碰预训练模型了。我第一次用Hugging Face的pipeline做情感分析，三行代码出结果，激动得不行。预训练模型包括BERT、GPT、RoBERTa、T5、BART。它们在大规模语料上训练，你只需要微调就能适配下游任务。Hugging Face的transformers库封装了这些模型，datasets库帮你加载数据，tokenizers库处理分词。
学习这个阶段，你要理解Transformer架构、自注意力、多头注意力、位置编码。不用一开始就手推公式，可以看Jay Alammar的图解。然后学会用AutoModel、AutoTokenizer加载模型，用Trainer或PyTorch Lightning微调。我建议从文本分类任务开始，用BERT微调一个新闻分类器。再试试命名实体识别和问答任务。Hugging Face的文档和课程质量很高，跟着做一遍。
练习任务：用Hugging Face的transformers微调BERT做中文情感分析。尝试不同的预训练模型，比如bert-base-chinese、hfl/chinese-roberta-wwm-ext。记录训练时间、显存占用、准确率。再用pipeline快速部署一个demo。这个阶段你会接触到模型量化、蒸馏、推理优化，但入门先跑通微调就好。
2.5 自然语言处理入门学习路线的时间规划、练习任务与阶段检查点
时间规划因人而异。我给自己定的节奏是：第一阶段两周，第二阶段三周，第三阶段四周，第四阶段四周。每天投入两小时，周末多花半天做项目。如果你有编程基础，可以压缩到两个月。如果零基础，延长到四个月也正常。关键是保持连续性，别三天打鱼两天晒网。我用Trello看板管理任务，每完成一个练习就拖到“完成”列，很有成就感。
练习任务要围绕阶段目标设计。第一阶段：分词、词频、TF-IDF关键词提取。第二阶段：垃圾邮件分类、词向量可视化。第三阶段：LSTM情感分析、Seq2Seq翻译小demo。第四阶段：BERT微调分类、Hugging Face pipeline部署。每个任务都要写笔记，记录踩坑和解决方案。我习惯用Jupyter Notebook写代码，用Markdown写总结，最后整理到GitHub仓库。
阶段检查点帮你确认是否该进入下一阶段。第一阶段检查：你能独立清洗一份中文文本，并解释TF-IDF的含义。第二阶段检查：你能用scikit-learn搭建分类器，并用词向量做语义相似度。第三阶段检查：你能用PyTorch搭建LSTM模型，理解注意力机制的作用。第四阶段检查：你能用Hugging Face微调预训练模型，并在测试集上评估。如果检查点没过，回头补，别硬闯。我当初跳过词向量直接学BERT，结果微调时连embedding层都看不懂，又回来补课。
这条路线不是唯一的路，但它帮我从一个小白走到能独立做NLP项目。下一章我们进入项目实战，把学到的知识变成可展示的作品。
我学NLP最大的感受是：光看理论不写项目，等于白学。你背下Transformer架构，跑不通一个分类任务，简历上还是空的。这一章我带你走一遍我做过五个项目，从数据准备到部署demo，每个项目都能放进作品集。我会讲清楚数据从哪来、怎么标注、用什么指标、怎么管理实验，还有踩过的坑。
3.1 项目实战准备：数据获取、标注、评估指标与实验管理
做项目从找数据开始。我刚开始随便下载一个CSV就开跑，后来发现数据质量决定上限。公开数据集有Kaggle、Hugging Face Datasets、天池、AI Studio。中文任务可以看CLUE、中文NLP进度条。新闻分类用THUCNews，垃圾邮件用SMS Spam Collection，情感分析用IMDB或ChnSentiCorp，NER用MSRA或CoNLL-2003，摘要用LCSTS。没有现成数据时，我写爬虫抓评论，用八爪鱼或Scrapy。抓完要清洗，去重、去HTML标签、处理缺失值。别小看这些脏活，它们占项目一半时间。
标注数据是另一个坎。个人项目请不起标注团队，我试过自己标500条NER，眼睛快瞎了。后来我用Label Studio、doccano这些开源工具，支持多人协作。标注规范要提前写清楚，比如实体边界怎么定、情感极性分几类。标注一致性用Kappa系数检查。没有标注数据时，可以用弱监督、远程监督或大模型生成伪标签。我试过用ChatGPT标情感，准确率不错，但需要人工抽检。
评估指标选错，项目白做。分类任务看准确率、精确率、召回率、F1、AUC。类别不平衡时，准确率会骗人，我优先看F1和AUC。序列标注用实体级F1，不是token级。生成任务用ROUGE、BLEU、METEOR、BERTScore。问答用EM和F1。实验管理我推荐Weights & Biases或MLflow，记录超参数、指标、模型版本。懒人可以用TensorBoard加Excel。我习惯每次实验写一个README，记录数据版本、代码commit、随机种子。这样过两周还能复现。
3.2 新闻主题分类/垃圾邮件识别（文本分类入门）
文本分类是NLP入门常见的首个实战项目。我选新闻主题分类，数据用THUCNews，十个类别，每个类别几千条。垃圾邮件识别用SMS Spam Collection，五千多条，二分类。这两个任务帮你走通：读数据、分词、建词表、训练、评估、预测。我先用scikit-learn的TF-IDF加朴素贝叶斯，准确率能到90%左右。代码不到一百行，适合找感觉。垃圾邮件识别里，我提取了邮件长度、感叹号数量、大写字母比例等特征，加到TF-IDF里，F1提升了三个点。
之后我换成BERT微调。用Hugging Face的transformers，加载bert-base-chinese，把新闻文本截断到128个token。训练两轮，学习率2e-5，batch size 32。验证集准确率到了96%。垃圾邮件用英文bert-base-uncased，F1到了98%。我发现预训练模型对短文本优势明显。但推理速度慢，部署时我用ONNX量化，速度提升三倍。这个项目让我理解了分类任务的完整流程：数据划分、tokenization、模型训练、超参数搜索、错误分析。
错误分析很关键。我把预测错的样本拿出来看，发现新闻分类里“科技”和“互联网”容易混，垃圾邮件里正常短信带“免费”被误判。针对这些，我做了数据增强，用回译生成更多样本，或者调整类别权重。项目完成后，我写了一个Gradio界面，输入新闻标题就输出类别。这个demo放在Hugging Face Spaces上，链接放进简历。面试官点开就能玩，比说“我做过分类”有说服力。
3.3 影评/商品评论情感分析（分类与可解释性扩展）
情感分析比主题分类更细，需要判断正面、负面、中性，有时还要分强度。我用IMDB影评做英文，ChnSentiCorp做中文。IMDB有5万条，中文数据集小一些。我先用LSTM跑基线，嵌入层用预训练Word2Vec，准确率85%。换成BERT后，准确率到93%。商品评论更有挑战，存在“包装很好，但物流太慢”这种混合情感。我试过用方面级情感分析，把评论拆成多个方面，分别判断极性。
可解释性是我在这个项目里最看重的。黑盒模型给出预测，用户不信。我用LIME和SHAP解释BERT的预测。LIME会把文本扰动，看哪些词影响最大。SHAP基于博弈论，给每个词分配贡献值。我还试过注意力可视化，把BERT最后一层的注意力权重画出来。发现模型关注“失望”“垃圾”“完美”这些情感词。对于混合情感，注意力会分散到不同片段。这些解释图放在项目报告里，比单纯准确率更有说服力。
我做过一个商品评论分析系统，输入一条评论，输出情感极性、置信度、关键词高亮。前端用Streamlit，后端用FastAPI。用户能上传CSV批量分析，结果导出Excel。这个项目让我学会处理真实数据的不平衡，比如负面评论只占20%。我用过采样和Focal Loss缓解。可解释性扩展让我明白，模型不仅要准，还要让业务方理解为什么。这个项目成了我作品集里的亮点，很多入门者只做分类，不做解释。
3.4 命名实体识别与信息抽取（序列标注入门）
命名实体识别是序列标注的经典任务。我从CoNLL-2003英文开始，识别人名、地名、组织名。数据用BIO标注格式。我先用BiLSTM-CRF跑基线，嵌入层用GloVe，F1大概88%。换成BERT后，F1到92%。中文用MSRA数据集，识别人名、地名、机构名。中文分词会影响NER，我试过先分词再标注，也试过字级别标注。字级别BERT效果更好，因为避免了分词错误传播。
BERT+CRF是常见组合。Hugging Face的transformers提供BertForTokenClassification，但没带CRF。我加上pytorch-crf，F1提升了一个点。训练时注意标签对齐，subword分词后，一个词可能拆成多个token，只有第一个token保留标签，其他设为-100忽略。学习率用3e-5，batch size 16。我踩过坑：忘记把padding token的标签设为-100，导致损失计算错误。调试时打印标签序列，确认对齐。
信息抽取是NER的延伸。我做过一个简历解析项目，从PDF简历里抽姓名、电话、邮箱、技能、工作经历。先用正则抽电话邮箱，再用NER抽人名和公司。关系抽取用规则加BERT，判断“就职于”关系。这个项目让我理解序列标注到信息抽取的完整链路。部署时，我用Spacy的EntityRuler加自定义模型，做成API。用户上传简历，返回结构化JSON。这个项目在企业里需求很大，作品集里放一个，面试聊起来有内容。
3.5 文本摘要/生成或智能问答入门（生成式任务体验）
生成式任务和分类任务思路不同。文本摘要我选LCSTS中文短文本摘要，用T5或BART微调。数据是新闻标题和正文对。我先把正文截断到512token，用T5-small做基线，ROUGE-1大概30。换成mT5或BART-large，ROUGE-1到40。训练时用teacher forcing，推理时用beam search。生成摘要容易重复或漏信息，我加了覆盖机制和长度惩罚。这个项目让我理解编码器-解码器架构和注意力机制。
文本生成我试过用GPT-2写诗和故事。中文用uer/gpt2-chinese-cluecorpussmall。微调时用新闻或小说语料，温度调0.7到1.0。生成质量不稳定，有时通顺有时胡言乱语。我学会用top-k和top-p采样控制多样性。还试过用Prompt tuning，在输入前加“写一首关于春天的诗：”。生成任务评估很难，BLEU和ROUGE只能参考，人工评估更靠谱。我把生成结果做成网页，让朋友盲评。
智能问答我选SQuAD 2.0和CMRC 2018。用BERT做抽取式问答，输入问题和段落，输出答案起止位置。SQuAD 2.0有不可回答的问题，模型需要判断无答案。我用bert-base-chinese微调CMRC，EM大概65，F1 80。部署时用Haystack或LangChain，结合检索和生成，做成一个文档问答demo。用户上传PDF，提问，系统返回答案。这个项目涉及向量检索、重排序、生成，是当前RAG的雏形。生成式任务体验让我明白，NLP不只是分类，还有创造。
3.6 模型部署与Demo搭建，形成自然语言处理入门作品集
模型训练完，不部署等于没做完。我最早用Flask写API，但前端要自己写HTML，很麻烦。后来用Streamlit和Gradio，几行代码就能搭交互界面。Gradio适合快速demo，输入文本框、输出标签，支持图片、音频。Streamlit适合数据分析仪表盘，能展示图表。我把新闻分类模型用Gradio部署，上传文本就出类别和置信度。情感分析用Streamlit，显示关键词高亮和解释图。这些demo托管在Hugging Face Spaces，免费且稳定。
部署要考虑推理优化。BERT模型大，CPU推理慢。我用ONNX Runtime加速，或者用distilbert、albert等小模型。量化用动态量化，模型体积缩小四倍，速度提升两倍。如果并发高，用FastAPI加Uvicorn，再加Redis缓存。我试过用Docker打包，部署到云服务器。但个人作品集不需要太高并发，Hugging Face Spaces足够。记得写清楚README，附上模型卡、数据集、评估结果。这样别人能复现，也能看到你的工程能力。
作品集整理有讲究。我建了一个GitHub仓库，每个项目一个文件夹，包含代码、notebook、README、requirements.txt、demo截图。README里写项目背景、数据、方法、结果、改进方向。我还写博客文章，解释每个项目的技术细节。简历上放GitHub链接和Hugging Face Spaces链接。面试时，面试官点开就能跑，比空谈强。这五个项目做下来，你手里就有文本分类、情感分析、序列标注、生成、问答、部署的完整作品。自然语言处理入门不再停留在理论，而是能展示的能力。
