Token 与 Embedding 详解
一、Token 是什么?
1. 为什么不能直接处理文字
计算机无法直接理解"文字",只能处理数字。
所以第一步,是把语言拆分成模型可以处理的最小单位,这个单位就叫 Token。
在三维空间(3D)中,点(Point)和向量(Vector)虽然都可以用笛卡尔坐标系中的坐标表示,但它们的物理含义和数学意义是有本质区别的。
策略模式是一种行为设计模式,它允许我们在运行时选择特定的算法或行为,而无需对客户端代码进行修改。这对于那些需要根据不同条件(如客户类型)执行不同逻辑的场景尤其有用。通过策略模式,可以有效避免大量的if-else或switch-case判断,使代码更具可读性、可扩展性和维护性。
观察者模式是一种行为设计模式,它定义了一种一对多的依赖关系,让多个观察者对象同时监听某一个主题对象。这个主题对象在状态发生变化时,会通知所有观察者对象,使它们能够自动更新自己。
单例模式是设计模式中最简单的一种,其主要目的是确保一个类在全局范围内只有一个实例,并提供一个全局访问点。主要用于例如状态管理,用户配置管理,缓存管理等场景。