『大模型笔记』缩放定律(scaling laws)是由记忆而非智力解释的吗？
- 开发
- 31
-
一. 缩放定律(scaling laws)是由记忆而非智力解释的吗？
1. 视频原文内容
- 一般智能并不是将特定任务的技能扩展到很多技能，因为可能的技能是无限的。一般智能是能够解决任何问题、掌握任何技能，并且使用非常少的数据迅速掌握这些技能的能力。这使你能够应对可能遇到的任何情况。这就是一般性的定义。一般性不是将特定的技能放大，而是能够将你的思维应用于任何事物，任何任意的事物。这需要适应和高效的即时学习能力。
- 规模最大化的论点，归根结底，这些人指的是“规模损失”，这是你在训练模型时花费的计算量和你在基准测试中获得的性能之间的经验关系。那么关键问题是，如何衡量性能？增加更多的计算和数据实际上在提高什么？答案是基准测试的性能。
- 问题是，衡量性能的方式并不是一个技术细节。它不是事后考虑的事情，因为它会缩小你提出的问题
原文地址:https://blog.csdn.net/abc13526222160/article/details/139676512
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。
本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：https://www.suanlizi.com/kf/1801478692770287616.html
如若内容造成侵权/违法违规/事实不符，请联系《酸梨子》网邮箱：1419361763@qq.com进行投诉反馈，一经查实，立即删除！
