全国青少年科技创新大赛如同大模型驾驭16000真实世界API清华等机构ToolLLM与ChatGPT
机器之心报道
编辑：陈萍、梓文
在科技创新的大潮中，青少年们展现出的活力和潜能令人瞩目。全国青少年科技创新大赛，不仅是激发他们创造力的舞台，更是推动技术进步的重要催化剂。如同大模型驾驭16000+真实世界API，清华等机构ToolLLM与ChatGPT齐飞，我们可以从这场盛事中汲取灵感。
近日，一项新的研究成果在开源界引起了广泛关注。这项研究提出了一个全新的框架——ToolLLM，它通过增强大型语言模型对API的使用能力，让这些模型能够更有效地执行复杂任务。在指令调优数据集ToolBench上对LLaMA进行微调，得到了性能相当于ChatGPT的ToolLLaMA。
相信大家都已经见识到了，开源大型语言模型（LLMs）及其变体（例如 LLaMA 和 Vicuna）在各种任务上取得了显著的进展。但它们在执行更高级任务方面仍然存在局限性，比如让LLM按照人类给出的指令使用外部工具（APIs），很多开源 LLMS 就很难办到。这与最先进的闭源模型如 ChatGPT 形成了鲜明的对比，后者已经展示出出色的工具使用能力。
为了克服这一问题，从清华大学、北京邮电大学、耶鲁大学、腾讯公司和知乎等多家机构组成的研究团队联合撰写了一篇论文，他们提出了一种通用的工具使用框架——ToolLLM，该框架包括数据构建、模型训练和评估多项功能。
值得一提的是，该研究从 RapidAPI Hub 收集了 16464 个真实世界的 RESTful API，涵盖 49 个类别。这意味着 ToolLLaMA 不仅能够理解并执行大量现有的API调用，还能够适应未来的新需求，这无疑为AI技术领域带来了新的可能。
该研究在 ToolBench（指令调优数据集）上对 LLaMA 进行微调，得出了 ToolLLaMA。通过自动评估器 ToolEval 的评估显示，ToolLLaMA 展现出了出色的执行复杂指令和泛化到未知 API 的能力，并且在工具使用方面性能与 ChatGPT 相媲美。
从表3可见，在所有情况下DFSDT表现都超过了其他两种基线方法，这说明 DFSDT 是一种更有效率、高效率且成本较低的手段，可以节省解路径标注时间。此外，与简单指令相比，对于复杂指令来说DFSDT 提供了更多帮助，无论是I1还是I2或I3，都有所提升。这不仅提高了工作效率，也解决了一些困难的情况，即使普通ReACT也无法轻易回答的问题，将这样的“困难示例”纳入数据集中，可以充分激发工具面临这些复杂情况下的应用潜力。
总结而言，本次全国青少年科技创新大赛不仅展示了青年学生们对于科学探索热情的一面，同时也证明了解决实际问题需要跨学科合作，以及不断探索新技术以满足未来挑战。我们期待看到更多关于AI、大数据以及相关领域突破性的发现，以推动社会向前发展。