LangSmith帮助测试大模型系统

LangSmith是评估大模型能力好坏的评估工具,能够量化评估基于大模型的系统的效果。LangSmith通过记录langchain构建的大模型应用的中间过程,从而能够更好的调整提示词等中间过程做优化。想要使用LangSmith首先进入他的设置页面,https://smith.langchain.com/settings注册一个账号,然后进入API Keys页面创建一个API Keys,我们为例后续演示,这里创建一个test_api_key名字的API Key,如下图所示。

然后我们需要在本地安装LangSmith的依赖包

pip install -U langsmith

设置完成后就可以在LangChain代码中加入LangSmith环境变量进行过程数据收集了。需要设置的环境变量有如下四个。

  • LANGCHAIN_TRACING_V2:设置LangChain是否开启日志跟踪模式。
  • LANGCHAIN_API_KEY:就是上面生成的LangSmith的key。
  • LANGCHAIN_ENDPOINT:LangSmith的收集过程数据的API地址
  • LANGCHAIN_PROJECT:是要跟踪的项目名称,如果LangSmith平台上还没有这个项目,会自动创建。如果不设置这个环境变量,会把相关信息写到default项目,使用过程中比较建议设置改环境变量。LangSmith中的项目不一定要跟实际团队理解的项目是对应的,这可以理解成是一个分类或者标签。只要在运行LangChain的程序前修改了这个标签,它就会把对应的日志写到修改后的项目下面。常规可以按照环境类型划分、按日期划分

相关推荐

  1. Mockito框架,帮助创建模拟对象进行测试的利器

    2024-04-24 07:34:08       37 阅读
  2. AGI来了?特拉斯用模型帮助自动驾驶

    2024-04-24 07:34:08       36 阅读
  3. 模型系列】目录

    2024-04-24 07:34:08       36 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-04-24 07:34:08       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-04-24 07:34:08       106 阅读
  3. 在Django里面运行非项目文件

    2024-04-24 07:34:08       87 阅读
  4. Python语言-面向对象

    2024-04-24 07:34:08       96 阅读

热门阅读

  1. 利用HttpClient库下载蚂蜂窝图片

    2024-04-24 07:34:08       35 阅读
  2. Ant Design Pro + springboot实现文件上传功能

    2024-04-24 07:34:08       34 阅读
  3. 算法设计与优化——向量中数据唯一化

    2024-04-24 07:34:08       33 阅读
  4. K8s: 控制器之StatefulSets对象

    2024-04-24 07:34:08       29 阅读
  5. flutter 解决ExpandableText组件三个点调整颜色问题

    2024-04-24 07:34:08       31 阅读
  6. 爬虫 Selector 选择器查找元素

    2024-04-24 07:34:08       30 阅读
  7. 系统架构设计

    2024-04-24 07:34:08       37 阅读