搞清楚一个概念有时候是一件让人心情舒畅的事情~
本视频依旧0门槛，请放心食用！
在大型语言模型（LLM）中，"token"是一个关键的概念，它是文本处理的基本单位。Token可以是单个字符、多个字符组成的序列、单词、短语、标点符号、数字或其他语言元素。这些元素被用作训练和生成文本的基本单位。
AIGC专区：
https://heehel.com/category/aigc
工具箱：
https://heehel.com/ai-tools#ai-3d
Tokenization是将输入文本分割成一系列Token的过程，这是模型处理和理解自然语言的第一步。由于模型无法直接处理原始文本，因此需要将文本转换为Token序列，以便模型能够进行有效的处理和分析。
在大模型中，Token不仅限于完整的词语，还可以是一部分词、字符甚至是标点符号。不同的模型可能会采用不同的划分方式，因此得到的Token也可能不同，但有些大模型采用了预先定义好的Token集合，这些Token集合是人为划分的。
总之，Token在大模型中起到了至关重要的作用，它是模型处理和理解自然语言的基础，是训练和生成文本的基本单位.
