2025年8月总结与展望
今天是2025年9月3日，特地把八月份的总结放在了今天去写。 今天是中国人民抗日战争暨世界反法西斯战争胜利80周年纪念日，天安们广场举办了盛大的阅兵式，正义必胜、和平必胜、人名必胜！ 爱党、爱国永记心间今年9·3阅兵从头看到尾，认认真真地把新兵种和新式尖端武器都了解了下，我军的信息化能力绝对是“世界一流”水平；当DF-61开过天安门广场，国威军威尽显，民族自豪感溢满屏幕！ 踏踏实实过日
从零构建大模型
从零构建大模型GPT-2架构GPT-2是基于Transformer的Decoder架构，细节实现如下： 组件代码多头注意力123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354class MultiHeadAttention(nn.Module):
大模型面试200问
大模型面试200问 问题原创作者：李博杰(本书译者) 整理作答：杨桂淼 所有问题的作答没有标准答案，全部都是由本人通过阅读《图解大模型：生成式 AI 原理与实战》之后的所学所得，如有任何不妥之处，烦请诸位读者大佬批评斧正🙏！ 第 1 章 大模型简介Q1：Transformer 中的编码器和解码器有什么区别，只有编码器或者只有
2025年7月总结与展望
新体验七月多半个月都在上班通勤，也是切身体会了上班通勤的经历。因为之前都没有感受，所以打算辛苦些，自己去体验体验这种上班通勤的经历。每天早上六点多起床六点四十准时做上房山线，八点到所里，五点半下班。牛马不是好做的，当个合格的牛马也给出不容易，劳动人民最光荣啊！ 你行你上时隔七年，老姜又出新作品了；作为老姜的粉丝，无论作品咋样都要支持一下。老姜的作品总是能给人思考和启迪，以一个不同的视角让我们看到
Prompt Compression
Prompt Compression for LLM - 提示压缩提示词压缩提出的背景：大语言模型处理复杂的NLP任务需要详细的长格式提示信息 Prompt Compression for Large Language Models: A Survey ACL2025 提出问题：大模型进行复杂的NLP任务通常需要长上下文进行详细的提示，这会导致内存使用量和推理成本增加，提示压缩技术可以缓解长山
cs336:Language Modeling from Scratch
CS336: Language Modeling from Scratch Stanford / Spring 2025 学习笔记整理：杨桂淼 课程主页：https://stanford-cs336.github.io/spring2025/ GoalThis course is designed to provide students with a comp
2025年6月总结与展望
今天是2025年7月1号，党的生日，祝党生日快乐！ 离别2025年6月16号，正式和雁栖湖道别啦，但是没有说再见👋，我相信我们还会再见的。雁子，我们还会再见的对吗？！ 雁栖湖的一年和梦一样，这一年太过于充实和美好。 从2024年8月底来到这里，2025年将近6月底离开，这一年收获满满，很快乐、很充实。感觉就像是保研后老天给自己的奖励一样，让自己慢下来，好好去享受一下生活。 这一年认识了很多朋友，
强化学习:从入门到放弃
强化学习:从入门到放弃 Munger的强化学习笔记 课程:强化学习的数学原理 西湖大学·赵世钰 学习笔记整理：杨桂淼 引OK,咱就是说；深度学习还没完全整透彻呢，强化学习快马加鞭地就来了。因为夏季小学期选了晓飞老师的《强化学习》课程，奈何网课我是实在听不进去，而且每天还要在所里通勤干活，只能拿出挤地铁的三个小时来看网课去学咯。。。