2021年社招面试

1. 携程旅行(一面)

• 1. bert的预训练任务，损失函数
  MASK LM 和 NEXT SENTENCE PREDICTION
  交叉熵损失函数
• 2. transformer self attention过程 ⭐️⭐️⭐️⭐️⭐️
  见transformer面试
• 3. transformer编码方式和bert有什么不同，为什么要用sin和cos函数
  见transformer面试
• 4. CRF是判别式模型还是生生式模型，为什么
  见博客判别式模式和生成式模型
• 5. 分类常用的指标，怎么计算的？roc怎么画的
  1. precision recall macro_precision micro_precision
  2. roc以真阳率（正例里预见了多少）为y轴，假阳率（反例说错了多少）为x轴
  3. roc是一条从左下角向右上角延伸，同时偏向左上角的曲线（正例全都判断对的比例为 1（图像顶部），说错的反例占比为 0（图像左部）【0，1坐标】）
• 6. bert等预训练模型fine tuning时候怎么优化，prompt是是怎么做的
  Prompt,简单来说是：将下游任务的输入输出形式改造成预训练任务中的形式,让下游任务适应预训练模型;比如：对于情感分类，原有的任务形式是：输入：“今天天气好”输出：“正面情绪”标签的判别结果,在 prompt 范式下，这会将输入改造为：输入：“今天天气好，我的情绪是[MASK]的。输出࿱