SPA-VL

数据集概述

数据集名称

SPA-VL - 一个综合的安全偏好对齐数据集，用于视觉语言模型。

数据集描述

SPA-VL数据集包含100,788个样本，覆盖广泛的领域和多种伤害类型。每个样本包括详细的问题和来自多个模型的相应回答，以确保多样性和减少偏见。该数据集专为从人类反馈中进行强化学习（RLHF）设计，旨在对齐视觉语言模型的两个目标：无害性和帮助性。

数据集内容

• 样本数量：100,788个样本
• 样本结构：每个样本包含唯一ID、图像路径、相关问题、首选回答和未选回答。
• 格式：JSON格式，包含id, image, question, chosen, rejected字段。

数据集用途

• 用于视觉语言模型的安全偏好对齐训练。
• 支持强化学习从人类反馈（RLHF）的训练方法。

数据集下载

数据集可通过Hugging Face下载。

相关模型权重

• SPA-VL安全对齐模型权重：提供多个模型检查点，包括SPA-VL-DPO_30k, SPA-VL-DPO_90k, SPA-VL-PPO_30k, SPA-VL-PPO_90k。
• 模型下载：模型权重可通过Hugging Face获取。

训练指南

• 环境准备：需下载LLaVA-v1.5代码，并安装相应的Python环境和依赖。
• 数据准备：需将数据集转换为特定JSON格式，并准备包含所有训练JSON文件路径的JSON文件。
• 训练流程：包括奖励模型训练、PPO训练和DPO训练。

推理指南

提供8卡并行推理脚本，用于模型后续评估。

引用信息

• 论文：SPA-VL: A Comprehensive Safety Preference Alignment Dataset for Vision Language Model
• 作者：Yongting Zhang 等
• 年份：2024
• 存档：arXiv:2406.12030