Movatterモバイル変換

[0]ホーム
URL:

Skip to content

Navigation Menu

Sign in
Appearance settings

Search code, repositories, users, issues, pull requests...

Provide feedback

We read every piece of feedback, and take your input very seriously.

Saved searches

Use saved searches to filter your results more quickly

 Sign up
Appearance settings

MindSpore online courses: Step into LLM

License

NotificationsYou must be signed in to change notification settings

wujiu0411/step_into_llm

 
 

Repository files navigation

  • 探究前沿：解读技术热点，解构热点模型
  • 应用实践：理论实践相结合，手把手指导开发
  • 专家解读：多领域专家，多元解读
  • 开源共享：课程免费，课件代码开源
  • 大赛赋能：ICT大赛赋能课程（大模型专题第一、二期）
  • 系列课程：大模型专题课程开展中，其他专题课程敬请期待

报名方式

报名链接：https://xihe.mindspore.cn/course/foundation-model-v2/introduction

（注：参与免费课程必须报名哦！同步添加QQ群，后续课程事宜将在群内通知！）

大模型专题第一期(已完结)&第二期（进行中）

第二期课程10月14日起每双周六14：00-15：00在b站进行直播。

每节课程的ppt和代码会随授课逐步上传至github，系列视频回放归档至b站，大家可以在昇思MindSpore公众号中获取每节课的知识点回顾与下节课的课程预告，同时欢迎大家在MindSpore社区领取大模型系列任务进行挑战。

因为课程周期较长，课节安排可能会在中途出现微调，以最终通知为准，感谢理解！

热烈欢迎小伙伴们参与到课程的建设中来，基于课程的趣味开发可以提交至昇思MindSpore大模型平台

如果在学习过程中发现任何课件及代码方面的问题，希望我们讲解哪方面的内容，或是对课程有什么建议，都可以直接在本仓库中创建issue

教研团队

teachers

课前学习

课程介绍

昇思MindSpore技术公开课火热开展中，面向所有对大模型感兴趣的开发者，带领大家理论结合时间，由浅入深地逐步深入大模型技术

在已经完结的第一期课程（第1讲-第10讲）中，我们从Transformer开始，解析到ChatGPT的演进路线，手把手带领大家搭建一个简易版的“ChatGPT”

正在进行的第二期课程（第11讲-）在第一期的基础上做了全方位的升级，围绕大模型从开发到应用的全流程实践展开，讲解更前沿的大模型知识、丰富更多元的讲师阵容，期待你的加入！

章节序号章节名称课程简介视频课件及代码知识点总结
第一讲TransformerMulti-head self-attention原理。Masked self-attention的掩码处理方式。基于Transformer的机器翻译任务训练。linklinklink
第二讲BERT基于Transformer Encoder的BERT模型设计：MLM和NSP任务。BERT进行下游任务微调的范式。linklinklink
第三讲GPT基于Transformer Decoder的GPT模型设计：Next token prediction。GPT下游任务微调范式。linklinklink
第四讲GPT2GPT2的核心创新点，包括Task Conditioning和Zero shot learning；模型实现细节基于GPT1的改动。linklinklink
第五讲MindSpore自动并行以MindSpore分布式并行特性为依托的数据并行、模型并行、Pipeline并行、内存优化等技术。linklinklink
第六讲代码预训练代码预训练发展沿革。Code数据的预处理。CodeGeex代码预训练大模型。linklinklink
第七讲Prompt TuningPretrain-finetune范式到Prompt tuning范式的改变。Hard prompt和Soft prompt相关技术。只需要改造描述文本的prompting。linklinklink
第八讲多模态预训练大模型紫东太初多模态大模型的设计、数据处理和优势；语音识别的理论概述、系统框架和现状及挑战。link//
第九讲Instruct TuningInstruction tuning的核心思想：让模型能够理解任务描述（指令）。Instruction tuning的局限性：无法支持开放域创新性任务、无法对齐LM训练目标和人类需求。Chain-of-thoughts：通过在prompt中提供示例，让模型“举一反三”。linklinklink
第十讲RLHFRLHF核心思想：将LLM和人类行为对齐。RLHF技术分解：LLM微调、基于人类反馈训练奖励模型、通过强化学习PPO算法实现模型微调。linklink更新中
第十一讲ChatGLMGLM模型结构，从GLM到ChatGLM的演变，ChatGLM推理部署代码演示linklinklink
第十二讲多模态遥感智能解译基础模型本次课程由中国科学院空天信息创新研究院研究员 实验室副主任 孙显老师讲解多模态遥感解译基础模型，揭秘大模型时代的智能遥感技术的发展与挑战、遥感基础模型的技术路线与典型场景应用link/link
第十三讲ChatGLM2ChatGLM2技术解析，ChatGLM2推理部署代码演示，ChatGLM3特性介绍linklinklink
第十四讲文本生成解码原理以MindNLP为例，讲解搜索与采样技术原理和实现linklinklink
第十五讲LLAMALLaMA背景及羊驼大家族介绍，LLaMA模型结构解析，LLaMA推理部署代码演示linklinklink
第十六讲LLAMA2介绍LLAMA2模型结构，走读代码演示LLAMA2 chat部署linklinklink
第十七讲鹏城脑海鹏城·脑海200B模型是具有2千亿参数的自回归式语言模型，在中国算力网枢纽节点'鹏城云脑II'千卡集群上基于昇思MindSpore的多维分布式并行技术进行长期大规模训练。模型聚焦中文核心能力，兼顾英文和部分多语言能力，目前完成了1.8T token量的训练link/link
第十八讲CPM-Bee介绍CPM-Bee预训练、推理、微调及代码现场演示linklinklink
第十九讲RWKV1-4RNN的没落和Transformers的崛起 万能的Transformers？Self-attention的弊端 “拳打”Transformer的新RNN-RWKV 基于MindNLP的RWKV模型实践link/link
第二十讲MOEMoE的前世今生 MoE的实现基础：AlltoAll通信； Mixtral 8x7b: 当前最好的开源MoE大模型，MoE与终身学习，基于昇思MindSpore的Mixtral 8x7b推理演示。linklinklink
第二十一讲高效参数微调介绍Lora、（P-Tuning）原理及代码实现linklinklink
第二十二讲Prompt EngineeringPrompt engineering：1.什么是Prompt？2.如何定义一个Prompt的好坏或优异? 3.如何撰写优质的Prompt？4.如何产出一个优质的Prompt？ 5.浅谈一些我们在进行Prompt的时候遇到的问题。link/link
第二十三讲多维度混合并行自动搜索优化策略议题一·时间损失模型及改进多维度二分法/议题二·APSS算法应用上下link
第二十四讲书生.浦语大模型开源全链工具链简介与智能体开发体验在本期课程中，我们有幸邀请到了书生.浦语社区技术运营、技术布道师闻星老师，以及昇思MindSpore技术布道师耿力老师，来详细解读书生.浦语大模型开源全链路工具链，演示如何对书生.浦语进行微调、推理以及智能体开发实操。link/link
第二十五讲RAG
第二十六讲LangChain模块解析解析Models、Prompts、Memory、Chains、Agents、Indexes、Callbacks模块，及案例分析
第二十七讲RWKV5-6/
第二十八讲量化介绍低比特量化等相关模型量化技术

昇思资源一览：生态与伙伴共建、共享、共荣

resources

加入我们

About

MindSpore online courses: Step into LLM

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Jupyter Notebook98.1%
  • Python1.8%
  • Shell0.1%
[8]ページ先頭
©2009-2025 Movatter.jp