Tokenizer 分词器：AI 如何将文本转换为 Token

分词器（Tokenizer）是大语言模型（LLM）的核心组件，负责将人类阅读的原始文本拆分为更小的单元——Token（特征词/字词）。