Discussion Papers 2025
CIRJE-J-312 |
消費者研究における実験室実験: マニピュレーション・チェック変数の効果推定 "Probability-based A/B testing with Adaptive Minimax Regret (AMR) criterion for long-term customer metrics" |
---|---|
Author Name |
阿部誠(Makoto Abe) |
Date | August 2024 |
Full Paper | PDF file (only Japanese version available) |
Remarks |
Abstract (in Japanese) | Abstract (in English) |
---|---|
消費者研究や心理学実験では、被験者の状態(態度)が目的変数に与える影響を検証す るために、刺激の介入によって被験者の状態を操作する。ここでの関心は、介入(刺激)自 体の効果ではなく、介入の結果生み出された状態の違いが目的変数に与える影響である。 したがって、介入が意図された状態の違いをもたらしたか、という実験デザインの有効性を 確立するために、通常マニピュレーション・チェックが行われる。 マニピュレーション・チェック変数(状態)を目的変数に直接、関連付けると、両方の変数に 影響を与える交絡因子の問題に遭遇する。この問題を排除するためにランダム化比較試 験(RCT)による実験を行うのだが、2つの弱点が存在する。1つ目は介入の有無が目的変 数に与える影響の違いという2値の離散的な効果しか分からないこと、2つ目は介入(刺激) によって引き起こされる状態が被験者によって異なるため、結果、目的変数への影響が異 なるという実験デザインの不完全性が考慮されていないことである。 本研究では、未観測な交絡因子が存在していても、介入変数を操作変数として組み込めば、 マニピュレーション・チェック変数の目的変数に対する効果を正しく推定できる操作変数法 アプローチを提案する。ここでは実験デザインの不完全性を考慮することで、状態変数の 効果が実験アプローチの効果よりも統計的に効率的になる。したがって同じサンプルサイ ズでは、通常の実験アプローチより 操作変数法アプローチの方が有意な結果になることを、 シミュレーション分析で確認する。 |
In consumer research and psychological experiments, subjects' states (attitudes) are manipulated by means of stimulus treatment in order to examine the effects of the subjects' states (attitudes) on the target variable. The interest here is not the effect of the treatment (stimulus) itself, but the effect on the target variable of the difference in state produced as a result of the treatment. Therefore, a manipulation check is usually performed to establish the validity of the experimental design, i.e., whether the stimulus produced the intended difference in state. When the manipulation-check variable (state) is directly associated with the target variable, one encounters the problem of confounding that affects both variables. To eliminate this problem, randomized controlled trials (RCTs) are used, but two weaknesses exist: first, only a discrete, binary effect of the presence or absence of an treatment on the target variable can be uncovered. Second, the incompleteness of the experimental design, in which the state induced by the treatment (stimulus) varies from subject to subject, resulting in different effects on the target variable, cannot be taken into account. In this study, we propose an approach that can correctly estimate the effect, which relates the manipulation-check variable to the target variable, even when unobserved confounding factors are present. By accounting for imperfections in the experimental design, the effect of the state variable becomes statistically more efficient than the effect of the experimental approach. The simulation analysis confirms that, for the same sample size, our instrumental variable approach is more significant than the usual experimental approach. |