媒体需要行构建大型语言模型吗？

huangzuomin (74)in #cn • 25 days ago

将大型语言模型（LLM）融入新闻室能为新闻机构在内容创作、编辑及新闻搜集和发布等方面带来诸多机遇。然而，随着新闻室持续探索利用LLM的途径和前景，一个问题浮现出来：新闻机构是否真的需要自主开发和培训自己的LLM？

在本文中，我将论述对于资源有限的新闻机构而言，通过利用提示工程、微调及检索增强生成（RAG）来增强其生产力和服务，从战略上讲可能比自行从头开发LLM更有优势。我会首先讨论自建模型的成本考虑，然后深入探讨利用生成式AI的其他技术的好处与权衡。

从头开始构建LLM可能代价高昂

从头开始构建和训练LLM面临挑战，主要因为这需要大量的数据集、庞大的计算资源以及专业人才。例如，训练用于财经的BloombergGPT的计算资源成本估计达到100万美元。尽管这种模型的运行成本尚未披露，但即使是中等规模的模型，所需的基础设施成本也可能高昂，可能达到六位数。此外，建立一个负责任的模型需要考虑伦理问题，如确保公平性、隐私保护和透明度，以及采集伦理数据，这些都需要投入大量注意力和资源，可能会分散新闻机构对其核心任务的关注。

尽管如此，对LLM进行性能优化以减少训练所需的计算资源仍然是一个持续进行的过程。未经详细成本效益分析就急于训练LLM，可能会让新闻机构付出高昂的代价，而可能得不到相应的投资回报。自从BloombergGPT在2023年3月开发以来，出现了更多小型且功能更强大的开源模型架构，如Mistral Models，这些模型为其他大型、昂贵的专有模型提供了竞争性的替代选择。

因此，新闻机构或许应更多地考虑使用第三方模型的战略优势，这些模型可以通过API端点进行访问，从而降低基础设施成本，同时保障获取到最先进的模型，并提供快速更换模型的灵活性。例如，新闻机构可以在HuggingFace Inference Endpoint上以每小时1.3美元的费用，在单个A10G GPU上部署性能良好的开源Mistral-7B模型进行试验。之后，他们可以选择切换到Google的Gemma-7B，而计算成本保持不变，这使得快速迭代和测试不同模型成为可能。

因此，新闻机构在探索提示工程、微调和检索增强生成（RAG）的潜力时，可能在成本上具有竞争优势，并且在应用开发上更加灵活，通过使用现成的模型（例如GPT-4或Claude）通过API或推理端点实现快速投资回报。

提示工程是什么？

提示工程是一种新兴的沟通技术，通过精心设计的问题和指令，引导LLM给出期望的回答。尽管乍一看简单，但提示工程实际上需要对不同的提示技巧有深入了解才能充分利用LLM的潜力。例如，一份指南列出了17种不同的提示方法，有些相当复杂。不同的模型可能需要不同的提示格式或技巧来发挥最佳性能。然而，提示工程仍然是最快速从通用LLM（例如调整为类似ChatGPT的聊天助手的模型）获取信息的方式，无需修改其结构或重新训练。

关于如何创建有效的提示以引出所需回答，可以参考Google的“提示设计简介”或OpenAI的提示工程指南。记者工具箱还提供了针对新闻行业应用的提示资源。

检索增强生成（RAG）是什么？

虽然提示工程是一种有效生成所需内容的方式，但多数LLM的知识更新只到它们的训练数据截止日期，例如GPT-4的数据截至2023年12月。若不结合互联网上的最新信息，模型将无法反映最新的世界动态。新闻机构可以建立自己的RAG系统，利用外部托管的LLM（如GPT-4或Claude）或内部托管的开源模型（如Mistral-7B），使记者和用户能够检索大量档案文件、知识库或报道材料，例如《金融时报》AI聊天机器人。RAG服务还可以支持多种媒体形式，例如使用Weaviate等多模态开源向量数据库，用户可以用自然语言查询和检索音频、视频和文本数据。

RAG的核心在于使LLM能够访问最新的实时信息或特定领域的知识，从而为记者提供基于事实和最新信息的答案，增强模型的准确性。