语言差异导致人工智能费用差异中文使用者面临挑战
7月31日消息，据最新研究显示，大型语言模型(LLM)的费用受到使用语言的显著影响，可能加剧英语和其他语言使用者之间的人工智能鸿沟。该研究发现，由于计费方式的不同，英语输入和输出的费用相较于其他语言要低得多，其中简体中文费用约为英语的两倍，西班牙语为英语的1.5倍，而缅甸掸语则高达英语的15倍。
根据牛津大学开展的调查，让大型语言模型处理一句缅甸语句子需要198个词元，而同样的句子用英语书写只需17个词元。词元代表了通过API访问大型语言模型所需的计算力成本，这也意味着使用缅甸语句子的服务成本比英语高出了11倍。
词元化模型将用户输入转换为计算成本的方式，这导致了不同语言使用和训练模型的费用差异。例如，中文等语言因其复杂的结构(无论是从语法还是字符数量上)，需要更高的词元化率。例如，在英语中，表达"你的爱意"这四个字符的词元只需两个，而在中文中则需要八个词元。
这种费用差异可能带来一系列问题，比如限制其他语言用户访问大型语言模型的机会，或者使得使用其他语言的人们在开发和创新人工智能应用时承受更高的经济压力。这也可能加剧英语和非英语使用者之间的技术鸿沟，因为英语使用者更容易使用和访问这些语言模型。
据了解，解决这一问题的途径之一是推动普惠且包容的人工智能技术发展，包括降低其他语言使用者使用大型语言模型的费用，并更公平地对待不同语言的用户。这需要技术公司、研究机构和政府通力合作，确保人工智能技术的普及和发展能够惠及全球各地的人们，而不仅局限于英语使用者。