LLM之Agent再探


前言

重要: 阅读该文章之前,一定要先阅读:LLM之Agent初探

1、当业务中有大量的tool时,比如有上千个,这些tool的描述加起来,总长度已经大大超过了LLM的最大输入长度,即使能接受这么长的token,从attention机制来看,效果也好不到哪里去。

2、在LLM完成指令时,这几千个tool也不是都会被用上,那些没被用上的tool,且没被使用的tool占了绝大部分,大量的没被使用的tool占着大部分输入的token,造成资源的浪费,且推理性能也会有所下降。

基于以上两点考虑,尽量将与实际指令相关的tool加载进agent,丢弃那些不太可能会用到的tool是十分有必要的。

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-01-05 16:52:01       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-01-05 16:52:01       100 阅读
  3. 在Django里面运行非项目文件

    2024-01-05 16:52:01       82 阅读
  4. Python语言-面向对象

    2024-01-05 16:52:01       91 阅读

热门阅读

  1. Flink学习-处理函数

    2024-01-05 16:52:01       56 阅读
  2. argparse学习使用

    2024-01-05 16:52:01       66 阅读
  3. Elasticsearch 优化

    2024-01-05 16:52:01       50 阅读
  4. 计算机网络问题

    2024-01-05 16:52:01       56 阅读
  5. MySQL 存储引擎对比:InnoDB vs. MyISAM

    2024-01-05 16:52:01       50 阅读
  6. Spring Boot中进行分库编程

    2024-01-05 16:52:01       50 阅读
  7. 数据库-创建表

    2024-01-05 16:52:01       57 阅读