bbruceyuan/AI-Interview-CodePublic

LLM大模型（重点）以及搜广推等 AI 算法中手写的面试题，（非 LeetCode），比如 Self-Attention, AUC等，一般比 LeetCode 更考察一个人的综合能力，又更贴近业务和基础知识一点

You must be signed in to change notification settings

Folders and files

Name		Name	Last commit message	Last commit date
Latest commit History 6 Commits
src		src
.gitignore		.gitignore
LICENSE		LICENSE
README.md		README.md

Repository files navigation

AI 大模型相关算法中手写的面试题，（非 LeetCode），一般比 LeetCode 更考察一个人的综合能力，又更贴近业务和基础知识一点

题目	难度	知识点	文字解读
手写 Self-Attention	⭐⭐⭐	注意力机制	手写 Self-Attention 的四重境界
手写 Multi-Head Self-Attention	⭐⭐⭐	注意力机制	手写 Multi-Head Self-Attention
手写 Group-Query Attention	⭐⭐⭐	注意力机制	手写大模型组件之Group Query Attention，从 MHA -> MQA -> GQA
手写 Transformer Decoder（Causal Language Model, LM）	⭐⭐⭐⭐	Transformer 架构	手写 Transformer Decoder
计算 LLM (Decoder) 模型的参数量	⭐⭐⭐	模型参数量	TODO
LLM 模型训练推理显存占用预估	⭐⭐⭐⭐	显存占用	LLM 大模型训练-推理显存占用分析
手写 AUC	⭐⭐	模型评估	TODO
手写 KMeans	⭐⭐⭐⭐⭐	聚类	TODO
手写线性回归	⭐⭐⭐⭐⭐	线性回归	TODO
手写 BPE 分词器	⭐⭐⭐⭐⭐	分词	TODO
手写 LayerNorm	⭐⭐	归一化	TODO
手写 BatchNorm	⭐⭐	归一化	TODO
手写 Softmax	⭐⭐	激活函数	TODO