巨龙模型吞噬16000真实世界智慧清华等机构ToolLLM与ChatGPT并驾齐驱
机器之心报道
编辑：陈萍、梓文
在科技的海洋中，一艘名为ToolLLM的大船帆展开，它的任务是让巨大的语言模型能够更方便地驾驶，使用16000多条真实世界的API航行。来自清华等机构的智者们不甘落后于ChatGPT，他们用自己的智慧和技术，为这艘船加装了强大的引擎——指令调优数据集 ToolBench。在这个数据集上，他们对LLaMA进行了微调，结果是一艘新的战舰——ToolLLaMA，它与ChatGPT并肩航行。
开源大型语言模型（LLMs）及其变体，如LLaMA和Vicuna，在各种任务上取得了显著进展，但它们在执行更高级任务方面仍然存在局限性。这些模型虽然强大，却难以按照人类给出的指令使用外部工具（APIs），这与最先进的闭源模型如ChatGPT形成鲜明对比。为了解决这一问题，来自清华、哈佛、耶鲁、腾讯和知乎等多家机构的研究者联合撰写了一篇论文，他们提出了一个通用工具使用框架——ToolLLM，该框架包括数据构建、模型训练和评估多项功能。
值得一提的是，这项研究从RapidAPI Hub收集了16464个真实世界的RESTful API，涵盖49个类别。这意味着这些研究者不仅要让语言模型学会如何调用这些API，还要确保它能理解不同的调用方式，从而实现更加高效和准确地完成复杂任务。
通过在ToolBench上对LLaMA进行微调，得到了ToolLLaMA。该模型在自动评估器ToolEval中的表现令人瞩目，不仅能够执行复杂指令，而且能够泛化到未知API，并且其性能与ChatGPT相当。这表明，无论是在执行简单还是复杂指令方面，ToolLaMa都显示出了出色的能力，使得它成为了一个非常有用的工具。
此外，该研究还展示了一种称为DFSDT（Deep Fusion of Semantic and Dependency Trees）的方法，它可以提高系统性能，同时减少解路径标注所需的人力成本。这意味着随着时间的推移，我们可以期待看到更多这样的技术创新，使得人工智能系统更加智能、高效，更好地服务于人类社会。
总结来说，这项研究代表了一次重大突破，对于未来的人工智能发展具有重要意义。而对于我们每个人来说，也是一个值得关注的话题，因为它预示着一个日益接近的地方，那里，我们将拥有更加强大的助手，用来帮助我们解决问题，并使我们的生活变得更加便捷。