type
status
date
slug
summary
tags
category
icon
password
comments
本文章介绍llm学习的路径规划
AI岗位介绍前景比较好的方向为大模型应用开发工程师和大模型应用算法工程师（稀缺）
入门大模型项目
训练框架
1.OpenRLHF
新人上手,代码清晰易懂，魔改无门槛，强烈推荐
2.LLaMA-Factory
3.Megatron-LM
英伟达训练框架，预训练首先，不适合新人魔改，没有抽象封装
4.DeepSpeed Chat
适合alignment训练
入门项目
1.Langchain-Chatchat
入坑RAG项目，教程详细，上手友好，检索部分可优化的点多，可自行魔改
2.QAnyThing
网易有道的RAG开源项目，
3.JARVIS HuggingGPT
single-agent从此大火
4.AutoGPT
agent项目必看系列
实用LLM
gpt_academic用于论文润色、写作
数据清洗
data-juicer 魔塔发布的数据清洗及分析的一站式工具，包含数十种处理多模态的算子，多种sandbox环境，预训练和sft阶段基于启发式规则数据清洗的不二之选
研究方向awesome
1.awesome-RLHF RLHF集合
2.Awesome-LLMS-as-Judges LLM-as-Judge
- Awesome-LLM-Strawberry O1复现合集
- llm-hallucination-survey 大模型幻觉合集
AI团队
1.ai产品经理
模型评估（测试）
根据ai目前的技术便捷来确定哪些需求是可以实现的
报销系统
1)报销流程
agent、workflow
2)审核
精度100%（ai做不到精度100%，最高基本98%）
ai大模型为一个概率生成系统
3)后置处理
调用原有业务系统的API来进行二次确认
2.ai大模型开发工程师
数据工程、rag、fine tuning、agent
模型评估（测试）
学习路线
转载自b站up主小林绿子的怀中猫
1. 小白阶段(pytorch和深度学习入门)
1.1. 网课
up：炮哥带你学
课程名字：[手把手教学]快速带你入门深度学习与实战
简介：入门机器学习和深度学习
网址：
up：炮哥带你学
课程名字：Pytorch框架与经典卷积神经网络与实战
简介：入门深度学习和pytorch
网址：
2. 深度学习进阶阶段
2.1. 网课
up：跟李沐学AI
课程名字：动手学深度学习PyTorch版
简介：系统学习深度学习基础
网址：
up：LLM张老师
课程名字：大模型《从零到一》长视频系列
简介：transformer注意力机制拆开介绍
网址：
up：LLM张老师
课程名字：大模型《从零到一》短视频系列
简介：transformer注意力机制拆开介绍
网址：
up：蓝斯诺特
课程名字：大模型《从零到一》短视频系列
简介：简洁代码实现，快速熟悉transformer的实现流程
网址：
up：霹雳吧啦Wz
课程名字：vision transformer swin transformer
简介：VIT入门和滑动窗口介绍
网址：
2.2. 论文网课
up：跟李沐学AI
课程名字：读论文
简介：各种领域的论文研读
网址：
备注：这个阶段重点需要看的有 AlexNet，ResNet，Transformer，BERT，VIT，MAE，Swin Transformer
3. 入门大模型
3.1. 网课
up：你可是处女座啊
课程名字：合集·手把手带你实战HuggingFace Transformers
简介：入门如何使用huggingface，即如何使用transfomers
网址：
备注：这个课质量很高尽量都看看，都是实操内容，但是到低精度训练篇才算大模型，前面都是nlp
up：良睦路程序员
课程名字：合集·transformers源码阅读——nlp工程师进阶
简介：从工程上整体去理解transformers，实操很少，主要是跟着debug看代码，不需要全都看懂，看个大概流程就可以了
网址：
up：小鱼儿at青岛
课程名字：【多模态】复现OpenAI的CLIP模型
简介：搭建了一个简化版的clip，从而理解clip的原理
网址：
up：小林绿子的怀中猫
课程名字：合集·CLIP模型代码
简介：从源代码方面讲解clip的流程
网址：
up：小林绿子的怀中猫
课程名字：合集·qwen2.5-VL多模态大模型
简介：多方面讲解qwen2.5vl
网址：
up：小林绿子的怀中猫
课程名字：合集·qwen2.5多模态大模型
简介：单纯讲讲怎么微调qwen2.5和部署
网址：
up：良睦路程序员
课程名字：合集·从0到1训练llava
简介：学习如何从零搭建一个llava，但是依然使用的是openclip和llama
网址：
up：偷星九月333
简介：各种大模型使用场景
主页网址：
备注：这个要放最后看，因为课程内容没有实操，都只是给了代码。
3.2. 论文网课
up：跟李沐学AI
课程名字：读论文
简介：各种领域的论文研读
网址：
备注：这个阶段重点需要看的有 CLIP，GPT1-3，CLIP改进工作串讲，多模态论文串讲，InstructGPT，Chain of Thought，Anthropic LLM，GPT4，LlaMA3.1
up：EZ-Encoder
课程名字：合集·DeepSeek 论文详解
简介：看似是讲ds，实则是把大语言模型的发展和训练都串讲了一遍，质量非常高
网址：
欢迎您在底部评论区留言，一起交流~
- 作者:于淼
- 链接:https://yumiao1.com/article/1d169159-6c5f-80d3-b504-c1076e225264
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
