ベイズ分析の実務手順｜設計メモで着手・追加調査・見送りを決める

ベイズ分析を始める前に、分析結果によって誰がどの業務行動を選ぶのかを定めます。事後分布が得られても、施策を実行するのか、追加観測するのか、施策を停止するのか、外したときに何を失うのかが未定なら、業務判断には使えません。

本記事の「着手・追加調査・見送り」は、ベイズ分析の開始可否を表す三択です。「着手」は分析作業を始めること、「追加調査」は開始前に不足する計測・根拠・損失を確認して同じ開始判断へ戻ること、「見送り」は今回は分析作業を始めず別の手段へ戻ることを指します。分析着手後に選ぶ「施策を実行・追加観測・施策を停止」とは別の判断です。

対象は、問い、データ、仮定、検証、分析後の業務行動を一つの設計メモへつなぐ工程です。個別データの計算、特定ライブラリの実装、特定業界の専門判断は扱いません。設計メモを埋め、案件を「着手・追加調査・見送り」の三択へ分類し、その理由を説明できる状態を目指します。

ベイズ分析の開始可否を3つに分ける

ここで判定するのは、ベイズ分析を始めるかどうかです。分析へ着手できるのは、データの追加に応じて不確実性を更新し、その更新が分析後の業務行動を変えうる課題です。「データが少ない」「ベイズなら柔軟そう」という理由だけでは着手条件になりません。

判定	条件	次の行動
着手	分析後の業務行動、重要な結果と損失、観測単位、事前情報の根拠、検証方法を説明できる	最も単純な妥当候補から分析作業を始める
追加調査	判断したい内容は明確だが、計測仕様、比較可能性、事前情報、損失、確認先のいずれかが未確定	不足項目の担当者と期限を決め、確認後に開始可否を再判定する
見送り	分析結果が業務行動を変えない、データ生成過程を説明できない、または誤判断の損失に見合う検証体制を用意できない	集計、計測設計、業務ルールなど目的に合う手段へ戻す

高い事後確率と、施策を実行すべきという判断は別です。Stan User's GuideのDecision Analysisは、分析後の業務行動と結果を定め、結果分布と効用を対応させて期待効用で業務行動を比べる枠組みを示しています。ただし、具体的な損失や許容閾値は案件ごとに決める必要があります。

分析前の設計メモで問いから停止条件までつなぐ

設計メモは、統計用語を埋める様式ではありません。誰が何を決めるのか、その判断に必要なデータと仮定は何か、どこで利用を止めるかを同じ文書で追えるようにします。業務行動が結果の生成過程を変えるなら、各行動下の結果を何の設計・データ・仮定で比較できるかも分析前に記録します。

設計項目	書く問い	完了条件
判断文	誰が、いつ、何を決めるか	一つの判断を一文で書ける
分析後の業務行動	施策を実行、継続、縮小、追加観測、停止など何を選べるか	実行可能な選択肢と、結果の生成過程を変える業務行動が明記されている
結果と損失	各業務行動が当たり・外れたとき何を失うか	金銭、時間、安全、機会損失など案件に必要な軸で比べられる
推定対象	どの量の不確実性を知りたいか	割合、差、件数、将来値などを単位付きで書ける
観測単位	1行、1件、1期間は何を表すか	分母、期間、対象範囲が固定されている
データ生成過程	どの条件と業務行動で観測が生じ、何が値を変えるか	欠損、選抜、反復、季節性、計測変更、行動割当を説明できる
行動別結果の比較条件	業務行動が結果の生成過程を変えるか。変えるなら何の設計・データ・仮定で各行動下の結果を比べるか	無作為化などの比較設計、行動条件付き結果を結ぶデータ、対象集団、介入定義、観察データで置く識別仮定が記録されている
事前分布の根拠	過去データや知識はどの対象・期間から来たか	出所、確認時点、現案件への適用限界が残っている
検証方法	何を再現できれば判断へ使えるか	事前予測、計算診断、事後予測、感度の確認対象がある
意思決定ルール	どの予測結果と損失から行動を選ぶか	推定結果とは別に責任者が説明できる
停止・更新条件	どの異常や条件変化なら利用を止めるか	戻る工程、確認先、再分析条件が決まっている

空欄をモデル側で推測して埋めてはいけません。例えば観測単位が未確定ならデータ定義へ、損失が未確定なら業務責任者へ戻します。Bayesian Workflowが扱う実務過程も、推論だけでなくモデル構築、チェック、検証、計算問題への対処、理解、比較を反復するものです。設計メモは、その往復で何を変えたかを残すために使います。

業務の問いをデータ生成過程へ翻訳する

分布はデータ列の型だけでは決まりません。同じ0と1でも、別々の顧客の購入有無と、同じ顧客の反復購入では依存構造が異なります。最初に観測が生じる仕組みを書き、データを表す尤度と、未知量に置く事前分布の役割を分けます。

観測したいもの	最初の候補	採用前に確認すること
定義済みの試行回数中の成功件数	成功件数に二項尤度、成功確率にベータ事前分布	試行の独立性、分母、対象間の差、計測漏れ
連続する測定値	正規尤度を単純な候補にする	歪み、外れ値、下限・上限、群差、反復測定
一定期間の件数	ポアソン尤度と期間・露出量を候補にする	平均を超えるばらつき、ゼロの多さ、曜日や施策の影響
複数店舗・部署・期間の反復値	階層化や説明変数を候補にする	共有できる情報、固有差、時系列依存、対象の入れ替わり
業務行動を変えた場合の結果	行動条件付きの結果モデルを候補にする	比較する介入、行動割当、各行動下の結果データ、対象集団、識別仮定

予測目的も分けます。現在の業務行動と運用条件を変えない自然経過の予測なら、観測されたデータ生成過程を表す予測モデルが候補です。業務行動を変えた場合の結果を比べる介入結果予測なら、各行動下の結果を表す行動条件付きモデルに加え、比較可能性を支える設計が必要です。無作為化していない観察データでは、比較する介入を明確に定義し、整合性、交換可能性、正値性など案件に必要な識別仮定を明示します。Causal Inference: What Ifは、観察データから因果効果を識別するにはデータだけでなく識別条件が必要だと説明しています。これらを設計・データ・仮定として説明できなければ介入結果は比較せず、分析開始前の追加調査へ戻ります。

ベータ分布は0から1の確率を表す候補ですが、成功件数そのものの尤度ではありません。CVRなら、定義済み試行の成功件数を二項分布で表し、未知の成功確率にベータ分布を置く組み合わせが候補になります。PyMCのProbability Distributionsも、未知量へ分布を割り当てることに加え、データ情報を表す尤度を含む完全な確率モデルを定める必要を説明しています。

候補は出発点にすぎません。処理時間が右に長い、件数のばらつきが大きい、観測条件が途中で変わった、選ばれた対象だけが記録された、といった特徴があれば、観測単位や対象期間まで戻ります。複雑なモデルへ進む前に、問いとデータ生成過程のずれを解消します。

事前分布は根拠・事前予測・感度の順で点検する

事前分布は期待値を自由に置く欄ではありません。何を根拠に、どの対象へ、いつまで適用できるのかを記録し、その含意を観測される値へ戻して確認します。

1. 根拠と射程を記録する

過去データを使うなら、対象、期間、計測方法、現案件との違いを残します。専門知識を使う場合も、パラメータ値だけでなく、現場で起こりうる観測値や上限・下限を確認します。根拠が弱いときは強い事前分布にせず、否定できない範囲を記録します。

2. 事前予測で観測尺度へ戻す

事前分布と尤度から、データを見る前に起こりうる観測値を生成します。現場では起こりえない件数や割合が繰り返し出るなら、事前分布の位置・広がり、尤度、リンク関数、尺度を見直します。Stan User's GuideのPosterior and Prior Predictive Checksは、事前予測で事前分布と整合するデータを確認し、極端な値から強すぎる・弱すぎる・形や位置が不適切な事前分布を診断できると説明しています。

3. 代替案で判断の感度を見る

合理的に置ける別の事前分布でも分析し、重要な事後量と分析後に選ぶ業務行動が変わるかを比べます。Bayesian Analysis Reporting Guidelinesは、事前分布の選択理由に加えて、事前予測チェックと関連する代替事前分布による感度分析を報告上の重要事項としています。

代替案で分析後の業務行動が変わるなら、都合のよい事前分布を選びません。事前情報への依存を結果として示し、根拠を追加確認する、データを増やす、または分析開始前の追加調査へ戻ります。

検証は判断利用を止める条件まで決める

推定値が出たことは検証完了を意味しません。分析前に、どの問題が残れば判断へ使わず、どの工程へ戻るかを決めます。

確認段階	確認すること	止めて戻る条件
事前予測	観測値の範囲、ゼロ、極端値、群差が現実的か	ありえない値へ無視できない確率を置く
計算診断	使用ソフトが示す収束、発散、有効サンプル等の警告	警告の意味と推定への影響を説明できない
事後予測	再現データが平均だけでなく、ばらつき、裾、ゼロ、重要な群差を捉えるか	判断に重要な特徴を一貫して再現できない
感度分析	合理的な事前分布やモデル候補でも分析後の業務行動が安定するか	仮定の違いで分析後の業務行動が変わる
運用確認	計測定義、対象集団、施策、外部条件が分析期間中に変わっていないか	変更前後を同じデータ生成過程として扱えない

事後予測チェックでは、適合済みモデルから再現データを作り、実データのうち判断に重要な特徴と比べます。平均が合っていても、ばらつきや裾を再現できなければ、不確実性の評価を判断へ使えるとは限りません。

MCMCを使う場合は計算診断も別に確認します。Stanの診断ガイドは、警告の多くが重要な問題を示すため、意味を理解せず推定値を信頼しないよう求めています。一方で、警告の件数だけで一律に失敗とも決めていません。使用ソフトの公式文書と、案件に必要な精度に照らして原因と影響を確認します。

予測が目的なら、利用可能な範囲で時点や対象を分けたデータでも確認します。医療、金融、安全など、誤判断が大きな害につながる案件では、この一般手順だけで進めず、領域の資格者・責任者と分析専門家が適用条件と停止条件を確認してください。

事後分布と意思決定ルールを別々に記録する

ここから扱うのは、分析へ着手し、必要な検証を終えた後の業務行動です。分析開始前の「着手・追加調査・見送り」は使いません。事後分布は、データとモデルの仮定を条件にした未知量の不確実性です。意思決定ルールは、その不確実性のもとで施策を実行・追加観測・施策を停止といった業務行動の結果と損失を比べる規則です。両者を同じ欄に書くと、結果を見た後に都合のよい閾値へ変える余地が残ります。

さらに、将来予測を二つに分けます。自然経過予測は、現在の業務行動と運用条件を変えない場合の結果を、観測されたデータ生成過程のもとで予測します。介入結果予測は、業務行動を変えた各場合の結果を比較するための予測です。後者は観測モデルの事後予測をそのまま流用せず、各行動下の結果を表す行動条件付きモデルと、無作為化または明示した因果仮定・識別条件を必要とします。Causal Inference: What Ifは、観察データでは明確な介入、整合性、交換可能性、正値性を識別条件として扱っています。

1. 推定対象を要約する：事後平均だけでなく、意思決定に関係する区間や確率を示す。
2. 予測対象を分ける：現状を維持する自然経過予測か、業務行動を変えた介入結果予測かを明記する。
3. 介入結果の比較条件を確認する：行動条件付きモデルを定め、無作為化された比較か、観察データなら整合性・交換可能性・正値性など案件に必要な識別仮定が成り立つ根拠を記録する。
4. 損失を対応させる：比較条件を満たした業務行動について、誤実行、誤停止、追加観測の費用、遅延の機会損失を置く。
5. 業務行動を選ぶ：期待損失に加え、許容できない下振れ、可逆性、実行制約も確認する。

観測データに対する事後予測チェックは、適合済みモデルが観測データの特徴を再現するかを見るもので、行動割当が比較可能であることや、介入効果が識別できることを証明しません。介入結果を比べるときは、何を自然経過として予測し、何を行動変更の効果として識別するのかを別々に報告します。

行動	選べる状態	選ばない状態
施策を実行	介入結果を使う場合は比較条件を満たし、妥当なモデル候補で損失が許容範囲にあり、必要な診断を通過する	観測データの事後予測だけで介入結果を主張する
追加観測	比較設計は定まり、業務行動を変えうる結果の不確実性が追加データで減らせる	識別仮定の不足を観測件数の追加だけで解消したことにする
施策を停止	想定損失を許容できない、または比較可能性や必要な仮定を支えられない	不都合な結果だけを理由に止める

行動割当、介入定義、比較対象、識別仮定を分析開始前に説明できないなら、「追加調査」として設計メモへ戻ります。分析着手後に、比較設計は定まっているが結果の精度を上げるデータが不足すると判明した場合は「追加観測」で事後分布と業務行動を再評価します。追加観測でも比較可能性を支えられない、または必要な仮定を置けない場合は、その介入結果を判断へ使わず「施策を停止」とします。追加観測は、識別条件の欠損を観測件数だけで補う工程ではありません。

Bayesian Analysis Reporting Guidelinesも、事後分布と意思決定ルール・閾値を区別し、判断には誤りと正しい判断の費用・便益など別の考慮が入ると説明しています。全案件に共通する確率閾値はありません。結果を見る前に責任者がルールを記録し、変更した場合は理由と判断への影響を残します。

報告は仮定と更新条件を追跡できる形にする

報告書は結論の承認を得るためだけでなく、別の担当者が、どの仮定を変えると判断が変わるかを追うために使います。

報告項目	残す内容
分析後の業務行動と責任者	誰がいつ、施策を実行・追加観測・施策を停止のどれを選ぶか
データ来歴	取得元、対象期間、除外、欠損、選抜、計測変更
モデル仕様	尤度、事前分布、階層や説明変数、使用ソフトと版
事前分布の根拠	参照データ・知識、確認時点、適用範囲、事前予測の結果
計算診断	警告の有無、原因、対応、残る計算上の不確実性
モデル診断	事後予測で比較した特徴、再現できた点・できない点
感度分析	比較した事前分布・モデル、事後量と分析後の業務行動への影響
推定・予測結果	判断に必要な事後量と将来の結果分布
意思決定ルール	損失、閾値、追加観測・停止条件、選んだ業務行動と責任者
限界と更新条件	適用できない対象、再分析条件、次回確認日

BARGは、分析目的、モデルとパラメータ、事前分布、診断、事後結果、意思決定、感度などを説明する報告指針です。行動科学を主な文脈とする指針であり、すべての業界に同じ様式を義務づけるものではありません。ただし、結論を再検討できるだけの根拠と境界を残す考え方は実務でも利用できます。

意思決定者向けにモデル詳細を短くする場合も、事前情報への依存、診断で残った問題、分析後の業務行動が変わる条件は残します。計測、対象集団、仮定、損失のいずれかが変わったら、更新条件に従って再分析します。

設計メモの空欄から着手可否を決める

ここで設計メモを分析開始前の三択へ変換します。次の項目を案件用の文書へ転記し、各空欄に担当者と確認期限を置きます。分析担当者だけで決められない分析後の業務行動、損失、許容条件は、業務責任者の確認事項です。

• 判断文：誰が、いつ、何を決めるか
• 分析後の業務行動：施策を実行、継続、縮小、追加観測、停止など
• 各行動の重要な結果と損失：金銭、時間、安全、機会損失など
• 推定対象と単位：割合、差、件数、将来値など
• 観測単位、分母、期間、対象範囲：
• データ生成過程を変える要因：
• 業務行動が結果の生成過程を変えるか。変える場合の介入定義、比較設計、行動割当、行動別結果データ、識別仮定：
• 欠損、選抜、反復、計測変更：
• 尤度の候補と採用理由：
• 事前分布、その根拠、確認時点、適用限界：
• 事前予測で確認する観測量：
• 計算診断と事後予測で確認する項目：
• 比較する事前分布・モデル候補：
• 意思決定ルールと業務上の責任者：
• 分析利用の停止条件と、分析開始前の追加調査へ戻る条件：
• 結果の報告先、更新条件、次回確認日：

判断文、分析後の業務行動、損失、データ単位、事前情報、検証、停止条件が埋まり、業務行動が結果の生成過程を変える場合は比較設計・データ・識別仮定まで確認先が決まっていれば分析へ着手できます。判断は明確でも根拠や計測に空欄があるなら、担当者と期限を決めて分析開始前の追加調査へ進みます。結果が分析後の業務行動を変えない、または重大な損失に見合う検証体制を用意できないなら、今回は分析を見送ります。

分析への着手は設計の終了ではありません。計算診断、予測チェック、感度分析、運用条件の確認で問題が見つかったら、該当するデータ、モデル、事前情報、判断条件へ戻ります。戻り先を先に決めておくことで、複雑なモデルを作った後に判断用途がないと分かる手戻りを減らせます。