开工大吉
2025年2月5日，乙巳年正月初八，星期三，晴，第49篇博客/2025年第8篇博客，正式开工！！！
关于DeepSeek以及未来1年有关LLM的一些观点和思考
观点整理自刘焕勇老师，转发切记注明出处！
明天就开工了，针对deepseek，我们静下心来看看，这波造神热度迟早要消散或者翻车。LLM帮大家解决落地问题，让大家有饭吃，有活干，才能行。我倒觉得反而利好的是qwen跟豆包，因为后两者一直在做，deepseek那套grop，会被他们借鉴。然后，原有的基础跟基本盘会进一步牢固。等大家恢复理性之后，还是会乖乖用qwen阿里云这些。即便国家造神有单子，那也是deepseek自己，但独乐乐不如众乐乐，众乐乐才是真的乐。deepseek蒸馏版都70B，现在大家落地， qwen14B都部署费劲。所以，底层公司的刚需才是真需。
Guonei 流行造神跟毁神，比比皆是。deepseek也逃不出这个魔咒。
我觉得deepseek 只要不掉进舆论的坑里，就无所谓。他们开源的细节足以复现，因此会整体抬高中国大模型的实力。这点功不可没。至于后续，那就看谁能走的更靠前。而且，DS 打破了OpenAI 他们的神话，因此会给更多中国大模型厂商以启发，不一定非得复制OpenAI 才能成功，有更多的尝试，会有更多的成果。
所以，作为社区成员的大家，保持冷静，从解决落地问题的角度出发，从吃饭的角度出发。就会明朗平静很多。
从去年DS 的积累看，今年多模态应该没问题，所以今年肯定还会有新的模型出来，而且 R1 的开源启发了无数人的火花，今年看到 R2 甚至R3 都有可能。推理过程开放后，太有启发性了，等于给大模型开了一扇窗，可以用人能够理解的方式，让人们看到大模型在怎么运作，黑箱透明度的提高，意味着我们在大模型上的研究上可能会更有方向性。今年是个可以期待的一年。
今年是落地年，技术上可以期待，但也仅仅是技术本身，还是要解决吃饭问题。
自己的思考：今年务必多关注多模态、强化学习与RAG的结合，多做落地实践、多动手。
关于LLM的一些通俗解释和理解
读AI大佬Andrej Karpathy推文所记：https://x.com/karpathy/status/1885026028428681698
费曼学习法：用自己话把问题和过程描述清楚，并建立关联。
我们可以将训练大型语言模型 (LLM) 的过程巧妙地比作教育学生，并以教科书的结构为框架，阐述了当前 LLM 训练的现状和未来方向。
当我们打开任何一本教科书，都会看到三种主要类型的信息：
1. 背景信息 / 阐述 (Background information / exposition): 这是教科书的核心内容，用于解释各种概念和知识。
学生通过阅读和学习这些内容来构建知识体系，这就像是 LLM 的预训练 (pretraining) 阶段。在预训练阶段，模型通过阅读海量的互联网文本，学习语言的规律、世界的知识，积累广泛的背景知识，为后续的学习打下基础。
2. 例题及解答 (Worked problems with solutions): 教科书会提供具体的例题，并详细展示专家如何解决这些问题。
这些例题是示范，引导学生模仿学习。这与 LLM 的 监督式微调 (supervised finetuning) 阶段相对应。在微调阶段，模型学习人类专家提供的“理想答案”，学习如何生成高质量、符合人类期望的回复，例如助手类应用的“理想回答”。
3. 练习题 (Practice problems): 教科书每章节末尾通常会设置大量的练习题，这些题目往往只提供最终答案，而不给出详细的解题步骤。
练习题旨在引导学生通过 试错 (trial & error) 的方式进行学习。学生需要尝试各种方法，才能找到正确的答案。Karpathy认为，这与 强化学习 (reinforcement learning) 的概念高度相似。
Karpathy强调，目前我们已经让 LLM 经历了大量的“阅读”和“示例学习”，也就是预训练和监督式微调，但对于“练习题”这一环节，也就是强化学习，我们还处于一个新兴的、尚待开发的阶段。
当我们为 LLM 创建数据集时，本质上与为它们编写教科书并无二致。为了让 LLM 真正“学会”，我们需要像编写教科书一样，提供这三种类型的数据：
大量的背景知识 (Background information)： 对应预训练，让模型积累广泛的知识。
示范性的例题 (Worked problems)： 对应监督式微调，让模型学习高质量的输出。
大量的练习题 (Practice problems)： 对应强化学习，让模型在实践中学习，通过试错和反馈不断改进。
LLM 需要阅读，更需要实践。 只有通过大量的实践练习，才能真正提升 LLM 的能力，让它们更好地理解世界、解决问题。