使用 IDEFICS 进行图像任务¶

虽然可以通过微调专门模型来解决特定任务，但最近出现并广受欢迎的一种替代方法是使用大型模型来处理多种任务，而无需微调。例如，大型语言模型可以处理摘要、翻译、分类等自然语言处理任务。这种方法不再局限于单一模态（如文本），在本指南中，我们将展示如何使用一个名为 IDEFICS 的大型多模态模型来解决图像-文本任务。

IDEFICS 是基于 Flamingo 开发的一个开放访问的视觉和语言模型，Flamingo 是由 DeepMind 初始开发的一种最先进的视觉语言模型。该模型接受任意顺序的图像和文本输入，并生成连贯的文本输出。它可以回答有关图像的问题，描述视觉内容，基于多个图像创建故事等。IDEFICS 有两个版本：800 亿参数 和 90 亿参数，两个版本都可在 🤗 Hub 上找到。每个版本还提供了适应对话用例的微调指令版本。

这个模型非常多功能，可以用于各种图像和多模态任务。然而，作为一个大型模型，它需要大量的计算资源和基础设施。你可以根据自己的需求决定这种做法是否比为每个任务微调专门模型更适合。

在本指南中，你将学习如何：

• 加载 IDEFICS 和 加载量化版本的模型
• 使用 IDEFICS 进行：
  • 图像描述
  • 有提示的图像描述
  • 少量样本提示
  • 视觉问答
  • 图像分类
  • 基于图像的文本生成
• 批量模式下运行推理
• [以对话方式使用 IDEFICS](#以对话方式使用 IDEFICS)

在开始之前，请确保已安装所有必要的库。