1. 项目概述文本表示与词向量在大模型中的核心地位第一次接触词向量是在2016年处理一个电商评论分类项目时。当时用TF-IDF做特征工程准确率卡在82%死活上不去。后来尝试了Word2Vec效果直接提升了7个百分点——这个性能跃迁让我深刻认识到文本表示的质量直接决定NLP任务的天花板。文本表示(Text Representation)本质上是将人类语言转化为机器可理解的数学形式。早期的独热编码(One-hot)简单粗暴每个词都是维度等于词表大小的稀疏向量。苹果可能是[0,0,1,0,...,0]而香蕉是[0,1,0,0,...,0]。这种表示有两个致命缺陷维度灾难词表动辄上万维和语义缺失无法体现苹果和香蕉都是水果的关系。词向量(Word Embedding)的突破在于将词语映射到低维稠密空间通常50-300维且语义相似的词距离相近。2013年Mikolov提出的Word2Vec通过预测上下文词CBOW或根据中心词预测上下文Skip-gram让模型自动学习这种分布式表示。例如# gensim训练示例 from gensim.models import Word2Vec sentences [[cat, say, meow], [dog, say, woof]] model Word2Vec(sentences, vector_size100, window5, min_count1) print(model.wv[cat]) # 输出100维向量在大模型时代词向量技术演进为更复杂的嵌入层。以GPT-3为例其输入嵌入包含Token Embedding将单词/子词映射为768维或12288维向量Positional Embedding标记词语位置信息Segment Embedding区分不同句子对BERT重要关键认知现代大模型的词向量不再是静态的如Word2Vec训练完固定而是动态的——在预训练和微调过程中持续调整这就是为什么BERT等模型能实现一词多义表示。2. 核心算法原理深度拆解2.1 从Word2Vec到GloVe静态词向量的进化Word2Vec的Skip-gram目标函数是最大化给定中心词时上下文词出现的条件概率J(θ) Σ log P(w_tj | w_t)其中概率通过softmax计算P(o|c) exp(u_o^T v_c) / Σ exp(u_w^T v_c)这里的v_c和u_o分别是中心词和上下文词的向量表示。但softmax计算成本高昂尤其词表大时因此采用负采样(Negative Sampling)优化——将问题转化为二分类真实上下文词 vs 随机采样的噪声词。代码实现中gensim默认使用5个负样本model Word2Vec(..., negative5)GloVe(Global Vectors)在2014年提出通过统计全局词共现矩阵XX_ij表示词i和j共同出现的次数优化以下目标J Σ f(X_ij)(w_i^T w_j b_i b_j - log X_ij)^2f(x)是加权函数对高频词进行截断。GloVe的优势在于更好地利用全局统计信息特别在词类比任务如国王-男人女人≈女王上表现优异。2.2 上下文相关的动态表示ELMo与BERT2018年ELMo(Embeddings from Language Models)引入双向LSTM生成上下文相关表示。同一个词在不同句子中会有不同向量例如苹果手机 vs 吃苹果中的苹果ELMo通过拼接前向和后向LSTM的隐藏层实现这一点BERT(Bidirectional Encoder Representations from Transformers)则彻底革新了范式输入表示 Token嵌入 位置嵌入 段落嵌入通过Masked Language Model(MLM)任务学习随机遮盖15%的token预测原词下一句预测(NSP)任务学习句子间关系一个BERT-base的嵌入层示例from transformers import BertModel model BertModel.from_pretrained(bert-base-uncased) inputs tokenizer(Hello world!, return_tensorspt) outputs model(**inputs) last_hidden_states outputs.last_hidden_state # [1, 3, 768]2.3 大模型中的位置编码创新Transformer架构抛弃了RNN的循环结构必须显式注入位置信息。原始Transformer使用正弦位置编码PE(pos,2i) sin(pos/10000^(2i/d_model)) PE(pos,2i1) cos(pos/10000^(2i/d_model))其中pos是位置i是维度索引。这种固定编码的优点是能处理比训练时更长的序列。现代大模型多采用可学习的位置嵌入如GPT系列虽然牺牲了长度外推性但训练效率更高。RoPE(Rotary Position Embedding)则通过旋转矩阵实现位置感知被LLaMA、ChatGLM等模型采用f(q, m) (W_q x_m) e^(imθ) f(k, n) (W_k x_n) e^(inθ)其中θ是预设的旋转角度。3. 工程实践从零训练词向量3.1 数据准备与预处理训练优质词向量需要大规模语料建议至少1GB原始文本细致的预处理流程文本清洗去HTML、特殊符号分词英文用空格中文需分词器大小写统一视任务而定去除停用词可选中文分词示例使用jiebaimport jieba text 自然语言处理很有趣 words jieba.lcut(text) # [自然语言, 处理, 很, 有趣]重要经验保留足够多的低频词调整min_count参数否则专业术语如残差连接会被过滤影响下游任务。3.2 模型训练与调优使用gensim训练Word2Vec的关键参数model Word2Vec( sentences, vector_size300, window8, # 上下文窗口 min_count5, # 词频阈值 workers4, # 并行线程 sg1, # 1Skip-gram, 0CBOW hs0, # 0负采样 negative10, # 负样本数 epochs10 )参数选择经验小数据集100MB用CBOW大数据集用Skip-gram维度通常选256-512太高可能过拟合窗口大小通用领域5-10专业领域可更大负采样5-20小数据集取小值3.3 评估与可视化常用评估方法内在评估词类比任务如中国-北京法国≈巴黎model.wv.most_similar(positive[中国, 巴黎], negative[北京], topn1)外在评估在下游任务如文本分类测试效果可视化使用t-SNE降维from sklearn.manifold import TSNE import matplotlib.pyplot as plt words [国王, 王后, 男人, 女人, 巴黎, 法国] vectors [model.wv[w] for w in words] tsne TSNE(n_components2) result tsne.fit_transform(vectors) plt.scatter(result[:,0], result[:,1]) for i, word in enumerate(words): plt.annotate(word, xy(result[i,0], result[i,1])) plt.show()4. 大模型时代的词向量应用4.1 预训练模型中的嵌入层以GPT-3为例其嵌入层特点使用BPE(Byte Pair Encoding)子词分词词表大小50257位置编码可学习最大支持2048个token隐藏层维度12288是BERT-base的16倍微调时常见的嵌入层调整策略冻结嵌入层数据少时防止过拟合调整嵌入维度用投影层适配不同尺寸混合静态词向量缓解低资源场景数据稀疏4.2 词向量蒸馏技术将大模型的嵌入知识迁移到小模型的方法使用大模型输出作为软标签teacher_output bert_model(input_ids) student_loss MSE(student_emb, teacher_emb)对比学习目标# 正样本同义词负样本随机词 loss max(0, margin - sim(q, p) sim(q, n))量化压缩将FP32嵌入转为INT8体积减少75%4.3 多语言与跨模态扩展先进词向量技术已突破单语种限制LASER将109种语言映射到共享嵌入空间mBERT支持104种语言的联合表示CLIP实现文本-图像跨模态对齐图像编码器文本编码器跨模态检索示例import clip model, preprocess clip.load(ViT-B/32) text_features model.encode_text(clip.tokenize([a dog])) image_features model.encode_image(preprocess(Image.open(dog.jpg))) similarity text_features image_features.T5. 常见问题与解决方案5.1 词向量质量诊断问题现象可能原因解决方案所有词相似度都高训练不足/维度太高增加epochs/降低维度近义词不相似语料不足/窗口太小扩充语料/增大窗口语义异常关联数据噪声大清洗数据/调整min_count5.2 大模型嵌入层优化实际部署时的经验技巧嵌入表压缩通过乘积量化(PQ)将矩阵分解为子空间# 使用faiss库 index faiss.IndexPQ(d, M, 8) index.train(embeddings) index.add(embeddings)内存优化使用Hugging Face的accelerate库实现分片嵌入稀疏化处理对低频词使用LoRA等适配器技术5.3 领域自适应技巧将通用词向量适配到专业领域的方法继续预训练在领域语料上额外训练几轮model.build_vocab(domain_text, updateTrue) model.train(domain_text, total_exampleslen(domain_text), epochs5)联合训练混合通用和领域语料元学习使用MAML等算法快速适应新领域在医疗领域实测中经过继续预训练的词向量在临床实体识别任务上的F1值提升了12.3%。具体步骤是先加载PubMed预训练模型然后用医院电子病历继续训练学习率设为初始值的1/5。