跳转至

填空 (Mask Filling) (Transformers.js)

体验直接在浏览器中运行的 AI 填空模型！借助 Transformers.js，我们可以让 AI 预测文本中缺失的词语（由特殊标记 <mask> 表示）。这通常被称为掩码语言建模 (Masked Language Modeling, MLM)。

在下面的文本框中输入一段包含 <mask> 标记的英文文本，然后点击“填充掩码”按钮，模型将预测最适合填入 <mask> 位置的词语。

预测结果 (最可能的词语优先):

  • -

工作原理

此演示利用 Transformers.js 库在浏览器中执行填空 (Mask Filling) 任务：

  1. 加载库: 通过 CDN 引入 Transformers.js。
  2. 模型加载: 首次点击“填充掩码”按钮时，会从 Hugging Face Hub 下载预训练的掩码语言模型 (例如 Xenova/bert-base-uncased)。像 BERT 这样的模型在预训练阶段的一个核心任务就是掩码语言建模：随机遮盖输入文本中的一些词，然后让模型预测这些被遮盖的词。模型下载后会被浏览器缓存。
  3. 文本处理与预测:
    • 用户输入的包含 <mask> 标记的文本被传递给加载的 fill-mask pipeline。
    • 模型分析上下文并预测最有可能填入 <mask> 位置的词语列表，以及它们各自的置信度分数。
  4. 显示结果: 预测出的最可能的几个词语及其置信度，以及用这些词语填充掩码后的完整句子，会显示在页面上。

关于掩码语言建模 (MLM)

掩码语言建模 (Masked Language Modeling) 是许多现代 Transformer 基础模型（如 BERT, RoBERTa, ALBERT）预训练的核心方法之一。通过让模型预测文本中被随机遮盖（mask）的词语，模型被迫学习词语与其上下文之间的双向关系，从而获得对语言的深度理解。

这种预训练方式使得模型能够捕捉丰富的语义和句法信息，为各种下游自然语言处理任务（如文本分类、问答、情感分析等）打下坚实的基础。

客户端 AI 的优势

  • 深入理解语言模型: 用户可以直观地体验和理解掩码语言模型的工作方式。
  • 隐私保护: 文本数据保留在用户浏览器中。
  • 即时反馈: 快速获得预测结果。
  • 教育与研究: 是学���和探索语言模型内部机制的有用工具。

Transformers.js 使得在 Web 应用中集成这种基础但强大的 NLP 功能成为可能。