吴恩达大模型LLM系列课程学习(更新42门课程)

GPT-4o详细中文注释的Colab

中文注释链接：https://github.com/Czi24/Awesome-MLLM-LLM-Colab/tree/master/Courses/Prompt-Compression-and-Query-Optimization

观看视频

1 浏览器下载插件

沉浸式翻译

设置你需要用的翻译软件

2 打开官方视频

视频官方地址：https://learn.deeplearning.ai/courses/prompt-compression-and-query-optimization/lesson/1/introduction

打开自动开启双语字幕

Build a Large Language Model (From Scratch)

如果这个仓库对你有帮助，请点个star，并私聊我，我将发送给你《Build a Large Language Model (From Scratch)》的电子版，包括GPT-4翻译的全书PDF，方便你做笔记。

仓库：https://github.com/Czi24/Awesome-MLLM-LLM-Colab

课程1：Prompt Compression and Query Optimization

• 课程链接

• Colab代码链接

• 中文详细代码注释链接：https://github.com/Czi24/Awesome-MLLM-LLM-Colab/tree/master/Courses/1_Prompt-Compression-and-Query-Optimization

Prompt Compression and Query Optimization	提示压缩与查询优化
Introduction	介绍
Vanilla Vector Search	基础向量搜索
Filtering With Metadata	元数据过滤
Projections	投影
Boosting	提升
Prompt Compression	提示压缩
Conclusion	结论
Appendix-Tips and Help	附录-提示和帮助

课程2：Carbon Aware Computing for GenAI developers

• 课程链接

• Colab代码链接

Carbon Aware Computing for GenAI developers	面向生成式AI开发人员的碳感知计算
Introduction	介绍
The Carbon Footprint of Machine Learning	机器学习的碳足迹
Exploring Carbon Intensity on the Grid	探索电网中的碳强度
Training Models in Low Carbon Regions	在低碳地区训练模型
Using Real-Time Energy Data for Low-Carbon Training	使用实时能源数据进行低碳训练
Understanding your Google Cloud Footprint	了解你的谷歌云碳足迹
Next steps	下一步
Conclusion	结论
Google Cloud Setup	谷歌云设置

课程3：Function-calling and data extraction with LLMs

• 课程链接

• Colab代码链接

Function-calling and data extraction with LLMs	使用LLMs进行函数调用和数据提取
Introduction	介绍
What is function calling	什么是函数调用
Function calling variations	函数调用的变体
Interfacing with external tools	与外部工具的接口
Structured Extraction	结构化提取
Applications	应用
Course project dialog processing	课程项目对话处理
Conclusion	结论

课程4：Building Your Own Database Agent

• 课程链接

• Colab代码链接

Building Your Own Database Agent	构建你自己的数据库代理
Introduction	介绍
Your First AI Agent	你的第一个AI代理
Interacting with a CSV Data	处理CSV数据
Connecting to a SQL Database	连接SQL数据库
Azure OpenAI Function Calling Feature	Azure OpenAI函数调用功能
Leveraging Assistants API for SQL Databases	利用助手API处理SQL数据库
Conclusion	结论

课程5：AI Agents in LangGraph

• 课程链接

• Colab代码链接

AI Agents in LangGraph	LangGraph中的AI代理
Introduction	介绍
Build an Agent from Scratch	从头构建代理
LangGraph Components	LangGraph组件
Agentic Search Tools	代理搜索工具
Persistence and Streaming	持久性与流媒体
Human in the loop	人在回路中
Essay Writer	文章写作
LangChain Resources	LangChain资源
Conclusion	结论

课程6：AI Agentic Design Patterns with AutoGen

• 课程链接

• Colab代码链接

AI Agentic Design Patterns with AutoGen	使用AutoGen的AI代理设计模式
Introduction	介绍
Multi-Agent Conversation and Stand-up Comedy	多代理对话与单口喜剧
Sequential Chats and Customer Onboarding	连续聊天与客户入职
Reflection and Blogpost Writing	反思与博客写作
Tool Use and Conversational Chess	工具使用与对话象棋
Coding and Financial Analysis	编码与财务分析
Planning and Stock Report Generation	规划与股票报告生成
Conclusion	结论

课程7：Introduction to on-device AI

• 课程链接

• Colab代码链接

Introduction to on-device AI	设备端AI简介
Introduction	介绍
Why on-device	为什么选择设备端AI
Deploying Segmentation Models On-Device	部署设备端分割模型
Preparing for on-device deployment	准备设备端部署
Quantizing Models	量化模型
Device Integration	设备集成
Conclusion	结论
Appendix - Building the App	附录 - 构建应用
Appendix - Tips and Help	附录 - 提示和帮助

课程8：Multi AI Agent Systems with crewAI

• 课程链接

• Colab代码链接

Multi AI Agent Systems with crewAI	使用crewAI的多AI代理系统
Introduction	介绍
Overview	概览
AI Agents	AI代理
Create agents to research and write an article (code)	创建代理进行研究和写文章（代码）
Key elements of AI agents	AI代理的关键要素
Multi agent customer support automation (code)	多代理客户支持自动化（代码）
Mental framework for agent creation	代理创建的思维框架
Key elements of agent tools	代理工具的关键要素
Tools for a customer outreach campaign (code)	客户外展活动的工具（代码）
Recap of tools	工具回顾
Key elements of well defined tasks	定义明确任务的关键要素
Automate event planning (code)	自动化事件规划（代码）
Recap on tasks	任务回顾
Multi agent collaboration	多代理协作
Multi agent collaboration for financial analysis (code)	多代理财务分析协作（代码）
Build a crew to tailor job applications (code)	创建团队定制工作申请（代码）
Next steps with AI agent systems	AI代理系统的下一步
Conclusion	结论
How to get your completion badge	如何获得完成徽章

课程9：Building Multimodal Search and RAG

• 课程链接

• Colab代码链接

Building Multimodal Search and RAG	构建多模态搜索和RAG
Introduction	介绍
Overview of Multimodality	多模态概述
Multimodal Search	多模态搜索
Large Multimodal Models (LMMs)	大型多模态模型（LMMs）
Multimodal RAG (MM-RAG)	多模态RAG（MM-RAG）
Industry Applications	行业应用
Multimodal Recommender System	多模态推荐系统
Conclusion	结论
Appendix - Tips and Help	附录 - 提示和帮助

课程10：Building Agentic RAG with Llamaindex

• 课程链接

• Colab代码链接

Building Agentic RAG with Llamaindex	使用Llamaindex构建Agentic RAG
Introduction	介绍
Router Query Engine	路由查询引擎
Tool Calling	工具调用
Building an Agent Reasoning Loop	构建代理推理循环
Building a Multi-Document Agent	构建多文档代理
Conclusion	结论

课程11：Quantization in Depth

• 课程链接

• Colab代码链接

Quantization in Depth	深入量化
Introduction	介绍
Overview	概览
Quantize and De-quantize a Tensor	量化和反量化张量
Get the Scale and Zero Point	获取比例和零点
Symmetric vs Asymmetric Mode	对称模式与非对称模式
Finer Granularity for more Precision	更精细的粒度以提高精度
Per Channel Quantization	每通道量化
Per Group Quantization	每组量化
Quantizing Weights & Activations for Inference	推理的权重和激活量化
Custom Build an 8-Bit Quantizer	自定义构建8位量化器
Replace PyTorch layers with Quantized Layers	用量化层替换PyTorch层
Quantize any Open Source PyTorch Model	量化任何开源PyTorch模型
Load your Quantized Weights from HuggingFace Hub	从HuggingFace Hub加载量化权重
Weights Packing	权重打包
Packing 2-bit Weights	打包2位权重
Unpacking 2-Bit Weights	解包2位权重
Beyond Linear Quantization	超越线性量化
Conclusion	结论

课程12：Prompt Engineering for Vision Models

• 课程链接

• Colab代码链接

Prompt Engineering for Vision Models	视觉模型的提示工程
Introduction	介绍
Overview	概览
Image Segmentation	图像分割
Object Detection	目标检测
Image Generation	图像生成
Fine-tuning	微调
Conclusion	结论
Appendix	附录

课程13：Getting Started with Mistral

• 课程链接

• Colab代码链接

Getting Started with Mistral	入门Mistral
Introduction	介绍
Overview	概览
Prompting	提示
Model Selection	模型选择
Function Calling	函数调用
RAG from Scratch	从零开始构建RAG
Chatbot	聊天机器人
Conclusion	结论

课程14：Quantization Fundamentals with Hugging Face

• 课程链接

• Colab代码链接

Quantization Fundamentals with Hugging Face	Hugging Face的量化基础
Introduction	介绍
Handling Big Models	处理大模型
Data Types and Sizes	数据类型和大小
Loading Models by data type	按数据类型加载模型
Quantization Theory	量化理论
Quantization of LLMs	LLMs的量化
Conclusion	结论

课程15：Preprocessing Unstructured Data for LLM Applications

• 课程链接

• Colab代码链接

Preprocessing Unstructured Data for LLM Applications	预处理LLM应用程序的非结构化数据
Introduction	介绍
Overview of LLM Data Preprocessing	LLM数据预处理概述
Normalizing the Content	内容规范化
Metadata Extraction and Chunking	元数据提取和分块
Preprocessing PDFs and Images	预处理PDF和图像
Extracting Tables	提取表格
Build Your Own RAG Bot	构建你自己的RAG机器人
Conclusion	结论
Appendix - Tips and Help	附录 - 提示和帮助

课程16：Red Teaming LLM Applications

• 课程链接

• Colab代码链接

Red Teaming LLM Applications	LLM应用程序的红队测试
Introduction	介绍
Overview of LLM Vulnerabilities	LLM漏洞概述
Red Teaming LLMs	红队测试LLMs
Red Teaming at Scale	大规模红队测试
Red Teaming LLMs with LLMs	用LLMs进行红队测试
A Full Red Teaming Assessment	全面的红队评估
Conclusion	结论

课程17：JavaScript RAG Web Apps with LlamaIndex

• 课程链接

• Colab代码链接

JavaScript RAG Web Apps with LlamaIndex	使用LlamaIndex的JavaScript RAG Web应用
Introduction	介绍
Getting started with RAG	入门RAG
Build a full-stack web app	构建全栈Web应用
Advanced queries with Agents	使用代理的高级查询
Production-ready techniques	生产就绪技术
Conclusion	结论

课程18：Efficiently Serving LLMs

• 课程链接

• Colab代码链接

Efficiently Serving LLMs	高效服务LLMs
Introduction	介绍
Text Generation	文本生成
Batching	批处理
Continuous Batching	连续批处理
Quantization	量化
Low-Rank Adaptation	低秩适应
Multi-LoRA inference	多LoRA推理
LoRAX	LoRAX
Conclusion	结论

课程19：Knowledge Graphs for RAG

• 课程链接

• Colab代码链接

Knowledge Graphs for RAG	RAG的知识图谱
Introduction	介绍
Knowledge Graph Fundamentals	知识图谱基础
Querying Knowledge Graphs	查询知识图谱
Preparing Text for RAG	为RAG准备文本
Constructing a Knowledge Graph from Text Documents	从文本文件构建知识图谱
Adding Relationships to the SEC Knowledge Graph	向SEC知识图谱添加关系
Expanding the SEC Knowledge Graph	扩展SEC知识图谱
Chatting with the Knowledge Graph	与知识图谱聊天
Conclusion	结论

课程20：Open Source Models with Hugging Face

• 课程链接

• Colab代码链接

Open Source Models with Hugging Face	使用Hugging Face的开源模型
Introduction	介绍
Selecting models	选择模型
Natural Language Processing (NLP)	自然语言处理（NLP）
Translation and Summarization	翻译和摘要
Sentence Embeddings	句子嵌入
Zero-Shot Audio Classification	零样本音频分类
Automatic Speech Recognition	自动语音识别
Text to Speech	文本转语音
Object Detection	目标检测
Image Segmentation	图像分割
Image Retrieval	图像检索
Image Captioning	图像标题生成
Multimodal Visual Question Answering	多模态视觉问答
Zero-Shot Image Classification	零样本图像分类
Deployment	部署
Conclusion	结论

课程21：Prompt Engineering with Llama 2&3

• 课程链接

• Colab代码链接

Prompt Engineering with Llama 2&3	使用Llama 2&3进行提示工程
Introduction	介绍
Overview of Llama Models	Llama模型概述
Getting Started with Llama 2 & 3	Llama 2&3入门
Multi-turn Conversations	多轮对话
Prompt Engineering Techniques	提示工程技术
Comparing Different Llama 2 & 3 models	比较不同的Llama 2&3模型
Code Llama	代码Llama
Llama Guard	Llama卫士
Walkthrough of Llama Helper Function (Optional)	Llama助手函数演练（可选）
Conclusion	结论

课程22：Serverless LLM Apps Amazon Bedrock

• 课程链接

• Colab代码链接

Serverless LLM Apps Amazon Bedrock	使用Amazon Bedrock的无服务器LLM应用
Introduction	介绍
Your first generations with Amazon Bedrock	使用Amazon Bedrock生成第一个结果
Summarize an audio file	总结音频文件
Enable logging	启用日志记录
Deploy an AWS Lambda function	部署AWS Lambda函数
Event-driven generation	事件驱动生成
Conclusion	结论

课程23：Building Applications with Vector Databases

• 课程链接

• Colab代码链接

Building Applications with Vector Databases	使用向量数据库构建应用
Introduction	介绍
Semantic Search	语义搜索
Retrieval Augmented Generation (RAG)	检索增强生成（RAG）
Recommender Systems	推荐系统
Hybrid Search	混合搜索
Facial Similarity Search	面部相似性搜索
Anomaly Detection	异常检测
Conclusion	结论

课程24：Automated Testing for LLMOps

• 课程链接

• Colab代码链接

Automated Testing for LLMOps	LLMOps的自动化测试
Introduction	介绍
Introduction to Continuous Integration (CI)	持续集成（CI）介绍
Overview of Automated Evals	自动评估概述
Automating Model-Graded Evals	自动化模型评分评估
Comprehensive Testing Framework	综合测试框架
Conclusion	结论
Optional: Exploring the CircleCI config file	可选：探索CircleCI配置文件

课程25：LLMOps

• 课程链接

• Colab代码链接

LLMOps	LLMOps
Introduction	介绍
The Fundamentals	基础知识
Data Preparation	数据准备
Automation and Orchestration with Pipelines	流水线的自动化和编排
Prediction, Prompts, Safety	预测、提示、安全
Conclusion	结论
Next Step	下一步

课程26：Build LLM Apps with LangChain.js

• 课程链接

• Colab代码链接

Build LLM Apps with LangChain.js	使用LangChain.js构建LLM应用程序
Introduction	介绍
Building Blocks	构建模块
Loading and preparing data	加载和准备数据
Vectorstores and embeddings	向量存储和嵌入
Question answering	问答
Conversational question answering	对话问答
Shipping as a web API	作为Web API发布
Conclusion	结论
Next Step	下一步

课程27：Advanced Retrieval for AI with Chroma

• 课程链接

• Colab代码链接

Advanced Retrieval for AI with Chroma	使用Chroma进行高级检索
Introduction	介绍
Overview of embeddings-based retrieval	基于嵌入的检索概述
Pitfalls of retrieval - when simple vector search fails	检索的陷阱 - 当简单向量搜索失败时
Query Expansion	查询扩展
Cross-encoder re-ranking	交叉编码器重新排序
Embedding adaptors	嵌入适配器
Other Techniques	其他技术

课程28：Reinforcement Learning From Human Feedback

• 课程链接

• Colab代码链接

Reinforcement Learning From Human Feedback	从人类反馈中进行强化学习
Introduction	介绍
How does RLHF work	RLHF如何工作
Datasets for RL training	强化学习的数据集
Tune an LLM with RLHF	使用RLHF调整LLM
Evaluate the tuned model	评估调整后的模型
Google Cloud Setup	Google Cloud设置
Conclusion	结论

课程29：Building and Evaluating Advanced RAG

• 课程链接

• Colab代码链接

Building and Evaluating Advanced RAG	构建和评估高级RAG
Introduction	介绍
Advanced RAG Pipeline	高级RAG流水线
RAG Triad of metrics	RAG的三重指标
Sentence-window retrieval	句子窗口检索
Auto-merging retrieval	自动合并检索
Conclusion	结论

课程30：Quality and Safety for LLM Applications

• 课程链接

• Colab代码链接

Quality and Safety for LLM Applications	LLM应用的质量和安全
Introduction	介绍
Overview	概览
Hallucinations	幻觉
Data Leakage	数据泄露
Refusals and prompt injections	拒绝和提示注入
Passive and active monitoring	被动和主动监控
Conclusion	结论

课程31：Vector Databases: from Embeddings to Applications

• 课程链接

• Colab代码链接

Vector Databases: from Embeddings to Applications	向量数据库：从嵌入到应用
Introduction	介绍
How to Obtain Vector Representations of Data	如何获取数据的向量表示
Search for Similar Vectors	搜索相似向量
Approximate nearest neighbours	近似最近邻
Vector Databases	向量数据库
Sparse, Dense, and Hybrid Search	稀疏、密集和混合搜索
Application - Multilingual Search	应用 - 多语言搜索
Conclusion	结论

课程32：Functions, Tools and Agents with LangChain

• 课程链接

• Colab代码链接

Functions, Tools and Agents with LangChain	使用LangChain的函数、工具和代理
Introduction	介绍
OpenAI Function Calling	OpenAI函数调用
LangChain Expression Language (LCEL)	LangChain表达语言（LCEL）
OpenAI Function Calling in LangChain	在LangChain中调用OpenAI函数
Tagging and Extraction	标记和提取
Tools and Routing	工具和路由
Conversational Agent	会话代理
Conclusion	结论

课程33：Pair Programming with a Large Language Model

• 课程链接

• Colab代码链接

Pair Programming with a Large Language Model	使用大型语言模型进行结对编程
Introduction	介绍
Getting Started	入门
Using a String Template	使用字符串模板
Pair Programming Scenarios	结对编程场景
Technical Debt	技术债务
Conclusion	结论

课程34：Understanding and Applying Text Embeddings

• 课程链接

• Colab代码链接

Understanding and Applying Text Embeddings	理解和应用文本嵌入
Introduction	介绍
Getting Started With Text Embeddings	文本嵌入入门
Understanding Text Embeddings	理解文本嵌入
Visualizing Embeddings	可视化嵌入
Applications of Embeddings	嵌入的应用
Text Generation with Vertex AI	使用Vertex AI生成文本
Building a Q&A System Using Semantic Search	使用语义搜索构建问答系统
Optional - Google Cloud Setup	可选 - Google Cloud设置
Conclusion	结论

课程35：How Business Thinkers Can Start Building AI Plugins With Semantic Kernel

• 课程链接

• Colab代码链接

How Business Thinkers Can Start Building AI Plugins With Semantic Kernel	商业思考者如何使用语义内核开始构建AI插件
Introduction	介绍
Semantic Kernel is Like Your AI Cooking Kitchen	语义内核就像你的AI烹饪厨房
Cooking Up Flavorful SWOTs with the Kernel	用内核做出美味的SWOT分析
Organizing The Tools You Make for Later Reuse	组织你制作的工具以备后用
Frozen Dinner The Design Thinking Meal	冷冻晚餐的设计思维餐
Dont Forget to Save the Generated Dripping or The Gravy	不要忘记保存生成的油滴或肉汁
A Kitchen That Responds to Your I’m Hungry is More Than Feasible	响应你的“我饿了”的厨房是完全可行的
There’s a Fully-Outfitted Professional-Grade Kitchen Ready For You	有一个装备齐全的专业厨房为你准备好了
Conclusion	结论

课程36：Finetuning Large Language Models

• 课程链接

• Colab代码链接

Finetuning Large Language Models	微调大型语言模型
Introduction	介绍
Why finetune	为什么微调
Where finetuning fits in	微调的适用场景
Instruction finetuning	指令微调
Data preparation	数据准备
Training process	训练过程
Evaluation and iteration	评估和迭代
Consideration on getting started now	现在开始的考虑因素
Conclusion	结论

课程37：Large Language Models with Semantic Search

• 课程链接

• Colab代码链接

Large Language Models with Semantic Search	具有语义搜索的大型语言模型
Introduction	介绍
Keyword Search	关键词搜索
Embeddings	嵌入
Dense Retrieval	稠密检索
ReRank	重新排序
Generating Answers	生成答案
Conclusion	结论

课程38：Evaluating and Debugging Generative AI

• 课程链接

• Colab代码链接

Evaluating and Debugging Generative AI	评估和调试生成式AI
Introduction	介绍
Instrument W&B	工具W&B
Training a Diffusion Model with W&B	使用W&B训练扩散模型
Evaluating Diffusion Models	评估扩散模型
LLM Evaluation and Tracing with W&B	使用W&B进行LLM评估和追踪
Finetuning a language model	微调语言模型
Conclusion	结论

课程39：Building Generative AI Applications with Gradio

• 课程链接

• Colab代码链接

Building Generative AI Applications with Gradio	使用Gradio构建生成式AI应用
Introduction	介绍
NLP Tasks interface	NLP任务界面
Image Captioning app	图像字幕应用
Image generation app	图像生成应用
Describe and Generate Game	描述和生成游戏
Chat with any LLM	与任何LLM聊天
Conclusion	结论

课程40：LangChain Chat with Your Data

• 课程链接

• Colab代码链接

LangChain Chat with Your Data	使用LangChain与数据聊天
Introduction	介绍
Document Loading	文档加载
Document Splitting	文档拆分
Vectorstores and Embedding	向量存储和嵌入
Retrieval	检索
Question Answering	问答
Chat	聊天
Conclusion	结论

课程41：Building Systems with the ****** API

• 课程链接

• Colab代码链接

Building Systems with the ****** API	使用****** API构建系统
Introduction	介绍
Language Models, the Chat Format and Tokens	语言模型、聊天格式和词元
Classification	分类
Moderation	审核
Chain of Thought Reasoning	思维链推理
Chaining Prompts	链接提示
Check Outputs	检查输出
Evaluation	评估
Evaluation Part I	评估第一部分
Evaluation Part II	评估第二部分
Summary	总结

课程42：How Diffusion Models Work

• 课程链接

• Colab代码链接

How Diffusion Models Work	扩散模型的工作原理
Introduction	介绍
Intuition	直觉
Sampling	采样
Neural Network	神经网络
Training	训练
Controlling	控制
Speeding Up	加速
Summary	总结