2024年8-9月总结与展望

论文研读

这个月只读了一篇关于RAG的综述文章，详细的笔记可以参考RAG for LLM：A survey这篇博客文章。

通过浏览该领域以及拓宽知识面，又找到了如下几个感兴趣的点：

• RAG

• Text2SQL

• 多模态检索

• Agent

读文献的能力、论文写作的能力是需要一步步培养、积累、学些的，不能放松对写作能力的培养，写作和表达是这一年在雁栖湖要努力下功夫去打磨的本领。

技术学习

【重要】小土堆-Pytorch

【重要】李沐-动手学深度学习

ziliz-milvus数据库检索

黑马程序员-Spark、Flink、NoSQL

个人认为：这半年最主要的任务就是打好机器学习和深度学习的基础，一定要对原理有深刻的理解，对动手实现做到熟练运用。

不要着急，多下功夫。

适应节奏

正式开学的一周，很不适应。时间安排上、上课的节奏上、作息规律上都不是非常适应。好在我认为我的适应能力还是很强的，从第二周开始，慢慢调整过来了，主要是中秋节去了趟雄安，和好朋友们毕业后聚了一聚，很多开学之初困扰的心结慢慢打开了。这个心结有学业方面的，生活方面的，感情方面的。聊了很多，也听他们聊了很多。虽人生南北多歧路，君向潇湘我向秦，但是最终的目标都是一样的。为了未来更好的生活而努力奋斗。

回来以后我整个人状态好了很多，最明显的变化就是食欲大增，心情好多了，更专注于自己的事情了。不要着急，给自己一个缓冲时间，慢慢发力。

现在变得越来越像一个夜猫子了，睡的越来越晚，早上也是不能早起了。我觉着要相对调整生物钟，和本科的时候不一样了，不要强迫自己，而必须保证一天最好的状态，效率第一。

遇见良师

这个月和杨力祥老师课后长谈了两次，一次是在9.18晚上下课后，一次是在今天9.30号晚上下课后。两次长谈都是我们下课主动去找老师问问题，然后老师根据问题展开的多方面的讨论。

这是我在果壳遇到的难得的良师益友，他从思想上改变了我对计算机、对人工智能、对如何思考的观点与思维模式。每次和老师聊完，心中彷佛都燃烧了一团火，像雷总说的那样，要做世界上伟大的程序员。

鉴赏力的培养、创新力的训练、如何想问题、如何做关联、预见力的洞察、跨学科的素养，这些都是大学问，值得深思。不要盲目努力、勤奋，先想明白了再去做，再去执行。

10月文献阅读list

基于对LLM RAG - A Survey的论文分析研读，总结出以下可以展开的研究点：

RAG与NLP

检索

Multimodel RAG Systems

周五(2024.10.25)完成了Multimodel RAG System的汇报，梳理了一下这个领域目前所需的技术栈和任务流程。

对于prompt compression方向要深入了解，同时，李老师让举一个基本的例子，没有回答上来，说明还是对基本概念的理解有所欠缺。大老师在方向的深度上给了帮助，需要深入推进下去。

要好好梳理一下LLM的知识框架了，所涉及到的基本知识，脑子里要有一个体系结构。

按部就班的跟着大老师的节奏走，争取11.22完成既定任务。

杨力祥老师推荐：理解生成式AI最好的起源paper-Alpha Go

诺奖开奖！

优质博客：http://xtf615.com/2018/02/10/AlphaGo/

Mastering the game of Go with deep neural networks and tree search：https://www.nature.com/articles/nature16961

https://arxiv.org/pdf/1706.04052

李沐的课要坚持刷完，动手学深度学习

10.14-10.21:完成感知机到kaggle01实训的学习，一定要多动手实践！！

10.26-10.31:完成LLM基本知识框架的梳理、神经网络结构理解、注意力机制

展望

希望未来一个月有所提高的方面：

• 文献阅读能力：把我核心能力、代码复现能力、找idea
• 深度学习实践：未来一个月多动手学深度学习、多实操、多总结
• 科学论文写作与英语：英语听说读写的精进，论文、文章的写作能力怎么样提升，思考