编辑“BERT模型”

BERT（Bidirectional Encoder Representations from Transformers）是一种革命性的语言表示模型，由[[Google]]在2018年提出。BERT主要创新在于引入了双向性（bidirectional）和[[Transformer模型]]结构，从而能够更好地捕捉[[文本]]中的语境信息。

通过预训练阶段，BERT可以学习丰富的语言表示，然后在特定任务上进行微调，无需对模型结构进行大幅度修改，就能在多个自然语言处理任务上取得最先进的表现。这种通用性使得BERT成为一个非常强大且灵活的模型，在回答问题、语言推断、命名实体识别等各种任务上都表现优异。
== 模型结构 ==
=== Transformer编码器 ===

每个Transformer编码器层包括两个主要部分：

1、自注意力机制（Self-Attention Mechanism）：这部分允许模型在生成每个单词的表示时考虑输入序列中所有其他单词的影响。自注意力机制通过计算单词之间的注意力权重来实现这一点，这些权重衡量了单词间的相互关系和重要性。

2、前馈神经网络（Feed-Forward Neural Network）：在自注意力机制之后，模型会通过一个前馈神经[[网络]]，该网络包含两个线性变换之间有一个非线性激活函数（如ReLU）。这个前馈网络用于进一步处理从自注意力机制得到的表示。

=== 双向结构 ===

与单向模型（如OpenAI的GPT）相比，BERT的双向结构有以下优势：

1、全面的上下文信息：由于BERT同时考虑了每个词的左侧和右侧信息，因此它可以更全面地理解上下文，这对于许多NLP任务至关重要。

2、更好的语言理解能力：双向结构使得BERT能够处理需要同时考虑前后文信息的复杂任务，例如句子中的词汇消歧或语境中的否定检测。

3、灵活性：因为BERT基于双向结构，它可以通过在预训练期间使用不同的预训练任务来灵活地适应不同类型的下游任务，例如Masked Language Model（MLM）和Next Sentence Prediction（NSP）。

=== 预训练与微调 ===

BERT模型通过预训练阶段学习通用的语言表示，然后在具体的下游任务上进行微调。在预训练阶段，BERT使用了两种策略：

1、Masked Language Model（MLM）：随机遮蔽输入序列中的一些单词，并让模型预测这些遮蔽单词。这促使BERT学习双向上下文信息。

2、Next Sentence Prediction（NSP）：给定两个句子A和B，模型需要预测B是否是A的下一句。这鼓励模型理解句子间的关系。

在微调阶段，BERT利用在预训练阶段学到的参数作为初始化，并在特定的任务数据集上继续训练，以适应特定任务的细微差别。
== 输入表示 ==
1、Token Embeddings（词嵌入）：用于表示每个标记的词嵌入或词向量。这些词嵌入是预训练模型学习到的单词级别的表示，每个标记都会被映射为一个高维向量。

2、Segment Embeddings（句子嵌入）：用于区分不同句子之间的关系，特别是在处理句对任务时。通过句子嵌入，BERT可以区分两个不同句子的边界，从而更好地理解句子之间的语义关系。

3、Positional Embeddings（位置嵌入）：用于标记每个标记在句子中的位置信息。由于Transformer模型没有固定的序列顺序，因此需要通过位置嵌入来指示每个标记在句子中的具体位置。位置嵌入是通过学习得到的，能够帮助模型理解标记之间的相对位置关系。
== 相关条目 ==
* [[GPT-4]]
* [[ChatGPT]]
* [[讯飞星火]]
* [[文心一言]]
* [[腾讯混元]]
[[category:AI大模型|B]]