抱歉，您的浏览器无法访问本站
本页面需要浏览器支持（启用）JavaScript
了解详情 >

Tokenizer 可视化

Tokenizer 检视器

Tokenizer 词表 ID 可视化

加载 HuggingFace tokenizer.json 或 tiktoken .model 文件，在一个更清爽的界面里查看词表 ID、解码结果、合并规则和分布图表。

支持拖入本地 tokenizer 文件，也可以直接从远程地址读取。
并排对比原始词元、解码结果、ID 和合并优先级。

加载来源

导入 tokenizer JSON

解析和可视化都在浏览器内完成。你可以直接使用下面的示例地址，也可以替换成自己的 tokenizer 导出文件。

将 tokenizer.json 或 .model 拖到这里
支持 HuggingFace tokenizer.json 和 tiktoken .model 格式
快速选择:

还没有加载任何内容

可以先使用上方示例 URL，或者拖入你自己的 tokenizer 文件来查看 ID、合并规则和解码结果。