本文是LLM系列文章,针对《Large Language Model Agent for Hyper-Parameter Optimization》的翻译。
摘要
超参数优化在现代机器学习中至关重要,需要专家知识、大量试验以及高计算和人力资源。尽管自动机器学习(AutoML)取得了进步,但在试验效率、设置复杂性和互操作性方面的挑战仍然存在。为了解决这些问题,我们引入了一种新的范式,利用大型语言模型(LLM)在不同的机器学习任务中自动进行超参数优化,称为AgentHPO(LLM-Agent based hyperparameter optimization的缩写)。具体而言,AgentHPO自主处理任务信息,用特定的超参数(HP)进行实验,并基于历史试验对其进行迭代优化。与传统的AutoML方法相比,这种类似人类的优化过程大大减少了所需的试验次数,简化了设置过程,并增强了可