节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。
针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。
汇总合集
《大模型面试宝典》(2024版) 发布！
《大模型实战宝典》(2024版) 发布！
大家好，今天给分享我们一位星球成员的面试总结。
该球友投的岗位比较多，主要方向是 NLP，也包括一些多模态、大模型、推荐相关的算法岗位，最终拿到了腾讯、京东和迪子的 offer。
心得
算法岗面试，面试官一般会从你的项目经历里挑选和他们工作内容比较相关的点提问，喜欢不断深入和扩展，印象最深的就是比亚迪的一次面试，问的贼细，差点坑不住了。。。
其次八股文基本上是必问的，有一些中小厂特喜欢问八股。
最后是自己的一点见解，对于非研究性质的算法岗位，论文的权重并没有很大（也看面试官的喜好），反而是相关的实战项目经历会非常重要。有意找算法岗的朋友，可以找我交流。
面试题汇总
用语言介绍一下 Transformer 的总体流程
深度学习的三种并行方式：数据并行，模型并行，流水线并行
Deepspeed分布式训练的理解，zero 0-3的理解
对于CLIP的理解
说几种对比学习的损失函数，以及它们的特点和优缺点
说说大模型生成采样的几种方式，它们的特点和优缺点比较
损失函数中温度的作用
BLIP 的细节。面试中提的问题是 BLIP 为什么将训练分成两个阶段
Visual Encoder 有哪些常见的类型？
深度学习中常用的优化器有哪些？
SimCSE 的理解
prenorm 和 postnorm
LLaMA 2 的创新、ChatGLM的创新点、Qwen的创新点、Baichuan的创新点
LLM 的评估方式有哪些？特点是什么？
文本生成模型中生成参数的作用（temperature，top p，top k，num beams）
LoR A的作用和原理
CoT 的作用
神经网络经典的激活函数以及它们的优缺点
softmax 函数求导的推导
BERT 的参数量如何计算？
AUC 和 ROC
batch norm 和 layer norm
大模型训练的超参数设置
经典的词向量模型有哪些？
InstructGPT 三个阶段的训练过程，用语言描述出来
大模型推理加速的方法
Transformer 中注意力的作用是什么
RNN、CNN 和 Transformer 的比较（复杂度，特点，适用范围等）
产生梯度消失问题的原因有哪些？
大模型的幻觉问题
大模型训练数据处理
RLHF 的计算细节
构建 CoT 样本的时候，怎么保证覆盖不同的场景？
回收的三个指标：Recall、NDCG、RMSE
RoPE 和 ALiBi
交叉熵、NCE 和 InfoNCE 的区别和联系
贝叶斯学派和概率学派的区别
一个文件的大小超过了主存容量，如何对这个文件进行排序？应该使用什么算法？
Python 中的线程、进程和协程
python 中的生成器和迭代器
技术交流
前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~
我们建了算法岗面试与技术交流群， 想要进交流群、需要源码&资料、提升技术的同学，可以直接加微信号：mlc2040。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。
方式①、微信搜索公众号：机器学习社区，后台回复：技术交流
方式②、添加微信号：mlc2040，备注：技术交流+CSDN
