进阶:a16z推荐进阶经典

译者:通往 AGI 之路
前半部分:入门经典必读
技术深度探讨:了解 transformers 和大模型
有无数的资源(有些内容更好些)试图解释大语言模型(LLMs)的工作原理。以下是我们的一些最爱,面向广泛的读者/观众。
讲解资源
The illustrated transformer:Jay Alammar 对 transformer 架构的更多技术概述。
The annotated transformer:如果你想在源代码级别理解 transformer 模型,这是一篇深度文章。需要一些 PyTorch 的知识。
Let’s build GPT: from scratch, in code, spelled out:从零开始,通过代码,详细解释:对于工程师们,Karpathy 做了一个如何构建 GPT 模型的视频演示。
The illustrated Stable Diffusion潜在扩散模型的介绍,这是最常见的用于图像生成的 AI 模型。
RLHF: Reinforcement Learning from Human Feedback:Chip Huyen 解释了 RLHF(基于人类反馈的强化学习 ),它可以使 LLMs 的行为更可预测、更符合人类的友好方式。这是像 ChatGPT 这样的系统中最重要但最不好理解的方面之一。
Reinforcement learning from human feedback:计算机科学家和 OpenAI 联合创始人 John Shulman 在这个精彩的演讲中更深入地探讨了 LLMs(大语言模型)与 RLHF(基于人类反馈的强化学习 )的当前状态、进展和限制。
课程
Stanford CS25:Transformer 技术联盟,关于 Transformer 技术的在线研讨会。
Stanford CS324:由 Percy Liang, Tatsu Hashimoto 和 Chris Re 主讲的《大型语言模型》课程,涵盖了大型语言模型的各种技术和非技术方面。
参考和评论
Predictive learning, NIPS 2016:在这次早期的演讲中,Yann LeCun 强烈主张无监督学习是大规模 AI 模型架构的关键元素。跳到 19:20 查看他著名的蛋糕类比,这仍然是现代 AI 最好的心智模型之一。
AI for full-self driving at Tesla::另一个经典的 Karpathy 演讲,这次他介绍了特斯拉的数据收集引擎。从 8:35 开始,他进行了一次伟大的 AI 演讲,解释了为什么长尾问题(在这种情况下是停车标志检测)如此困难。
The scaling hypothesis:大型语言模型最令人惊讶的方面之一:规模化(增加更多的数据和计算)会继续提高准确性。GPT-3 是第一个清楚展示这一点的模型,Gwern 的文章很好地解释了其背后的直觉。
Chinchilla's wild implications:名义上是对重要的 Chinchilla 论文的解释,这篇文章触及了 LLM 规模化的大问题的核心:我们是否正在耗尽数据?这篇文章在上面文章的基础上,给出了对规模化规律的新鲜视角。