答案在硬币的第三面
随着 RLHF 成为大模型对齐（Alignment）的核心技术之一，越来越多研究开始探索使用 AI Feedback（RLAIF） 替代昂贵的人类标注，以降低训练成本并提升可扩展性。
本文整理并调研了几种典型的 AI 反馈对齐方法，包括：
同时记录了这些方法在 偏好数据构造、LLM-as-a-Judge、DPO 训练 等关键环节中的实现思路。
本文作为一份 RLAIF 系列技术阅读笔记，重点总结不同 AI Feedback 方案的核心流程与差异。
在使用 VSCode 的 PowerShell 终端时，经常会遇到中文输出乱码的问题。
网上常见的解决办法包括：修改系统默认编码、修改 VSCode 配置文件、甚至修改注册表等，这些方法不仅繁琐，而且可能带来额外风险。
实际上，只需要一行命令，就可以临时让当前 PowerShell 终端使用 UTF-8 编码，无需修改系统设置。
在多模态大模型的发展中，视觉语言模型（LVLMs）显示了强大的视觉理解能力，但也面临着严重的Hallucination，特别是在多对象识别任务中。本篇笔记基于《Multi-Object Hallucination in Vision-Language Models》，深入探讨了LVLMs在同时处理多个对象时产生的幻觉现象及其原因。本篇笔记介绍了论文提出的“基于识别的对象探测评估”（ROPE）方法，这是一种全新的评估协议，用于精确分析模型在多对象场景下的表现。此外，我还总结了作者关于数据分布、模型特性等如何影响幻觉行为的关键发现。通过这篇笔记，希望能为多模态大模型的幻觉问题提供启示，为未来的改进方向带来更多思考。
在这篇笔记中，我详细记录了关于论文《ShareGPT4V: Improving Large Multi-Modal Models with Better Captions》的阅读心得。该论文通过引入一个创新性的高质量图像描述数据集——ShareGPT4V，在大规模多模态模型中实现了显著性能提升。ShareGPT4V数据集包含超过百万条详细且多样化的图像描述，与现有的数据集相比，不仅增强了模型的视觉-文本模态对齐效果，还显著提高了在多个基准测试中的表现。
在多模态学习和图像理解领域，传统的基准测试多聚焦于单图像场景，忽略了多图像信息整合的复杂性。《MUIRBENCH: A Comprehensive Benchmark for Robust Multi-image Understanding》一文引入了MUIRBENCH，一个专为评估多图像理解能力而设计的全新基准，涵盖了丰富的图像关系和任务类别。本篇笔记将深入解析MUIRBENCH如何推动多模态大模型在多图像推理上的进展，并揭示现有模型的不足之处与未来改进的方向。
tag:
缺失模块。
1、请确保node版本大于6.2
2、在博客根目录（注意不是yilia根目录）执行以下命令：
npm i hexo-generator-json-content --save
3、在根目录_config.yml里添加配置：
jsonContent:
meta: false
pages: false
posts:
title: true
date: true
path: true
text: false
raw: false
content: false
slug: false
updated: false
comments: false
link: false
permalink: false
excerpt: false
categories: false
tags: true