Token 与 Embedding 详解

一、Token 是什么?

1. 为什么不能直接处理文字

计算机无法直接理解"文字",只能处理数字。

所以第一步,是把语言拆分成模型可以处理的最小单位,这个单位就叫 Token。

大模型概述

一、什么是大模型

大模型指参数规模很大、在大量数据上训练出来的模型,最常见的是大语言模型(LLM)。