DualRAG: A Dual-Process Approach to Integrate Reasoning and Retrieval for Multi-Hop Question Answering

[Lomanu4]

選定理由と所感


Tianjin Universityの研究

paper:

Пожалуйста Авторизируйтесь или Зарегистрируйтесь для просмотра скрытого текста.

code: N/A
Blog:

Пожалуйста Авторизируйтесь или Зарегистрируйтесь для просмотра скрытого текста.

概z要


【社会課題】
っっmっk・＿b¥r

【技術課題】
知識の動的変化への対応：推論の進行に伴う新たな情報ニーズに柔軟に対応できない。情報の組織化と活用：取得した情報のノイズや断片化により、推論の一貫性が損なわれる。

【提案】
DualRAGは、以下の2つのプロセスを密接に連携させることで、複雑な質問に対する高精度な回答を実現します：
Reasoning-augmented Querying (RaQ)：推論の進行に応じて、動的に情報検索クエリを生成します。
progressive Knowledge Aggregation (pKA)：取得した情報を体系的に統合し、推論の一貫性を保ちます。
これにより、知識の強化と推論の洗練が相互に促進される好循環が生まれます。

【効果】
HotpotQAでEM 65.0・F1 78.3を達成し、従来手法より最大+2.7 EM、+3.7 F1向上。小型モデルでもF1が+5.4改善し、オラクル知識なしでも高精度を維持

DualRAG

Пожалуйста Авторизируйтесь или Зарегистрируйтесь для просмотра скрытого текста.

3.2 Fine-Tuning for Compact Models


ハイエンドなLLMは利用コストも高いため、ロウエンドモデルを Finetuneもしくは知識蒸留 して用いる。

Пожалуйста Авторизируйтесь или Зарегистрируйтесь для просмотра скрытого текста.

実験

Пожалуйста Авторизируйтесь или Зарегистрируйтесь для просмотра скрытого текста.