RAG 实战：让 AI 读懂你的知识库

一、为什么需要 RAG？

大模型有两个致命问题：

1. 知识过时——训练数据有截止日期，不知道最新发生的事
2. 知识盲区——不可能训练所有知识，总有不知道的领域

RAG = Retrieval Augmented Generation（检索增强生成）

核心思路：临时抱佛脚，让模型在回答问题前，先去查一下相关资料。

大模型是怎么训练的？

一、训练的本质

训练一个大模型，就是不断调整参数的过程。

给模型看大量例子，让它自己学会规律。

就像教小孩说话——听多了，自然就会了。

Transformer — 大模型的核心心脏

一、从一个问题开始

想象你在读这句话：

“小明把苹果递给了小红，因为它饿了”

请问这个"它"指的是什么？

• 是"小明"？
• 是"小红"？
• 还是"苹果"？

大模型基础

一、什么是大模型

大模型指参数规模很大、在大量数据上训练出来的模型,最常见的是大语言模型(LLM)。

1. 齐次坐标

• 点：
  在三维空间中，点 $(x,y,z)$ 的齐次坐标表示为 $(sx,sy,sz,s)$，其中 $s$ 是非零的缩放系数。通过将点转为齐次坐标，几何变换可以通过矩阵乘法统一处理。
• 向量：
  向量 $(x,y,z)$ 的齐次坐标为 $(x,y,z,0)$。由于向量表示方向而不携带位置信息，最后一位设置为 0，这也确保了向量在几何变换中不会受到平移的影响。

1. 基本概念

矩阵（Matrix）是一个按照行和列排列的矩形数组。一个拥有 m 行 n 列的矩阵被称为 $m\times n$ 矩阵 $M$。$M_{ij}$ 表示矩阵中第 i 行第 j 列的元素。

$$M = \begin{bmatrix} M_{11} & M_{12} & \cdots & M_{1n} \\ M_{21} & M_{22} & \cdots & M_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ M_{m1} & M_{m2} & \cdots & M_{mn} \end{bmatrix}$$

在三维空间（3D）中，点（Point）和向量（Vector）虽然都可以用笛卡尔坐标系中的坐标表示，但它们的物理含义和数学意义是有本质区别的。

策略模式是一种行为设计模式，它允许我们在运行时选择特定的算法或行为，而无需对客户端代码进行修改。这对于那些需要根据不同条件（如客户类型）执行不同逻辑的场景尤其有用。通过策略模式，可以有效避免大量的if-else或switch-case判断，使代码更具可读性、可扩展性和维护性。

观察者模式是一种行为设计模式，它定义了一种一对多的依赖关系，让多个观察者对象同时监听某一个主题对象。这个主题对象在状态发生变化时，会通知所有观察者对象，使它们能够自动更新自己。