#AI分析
該当記事: 13 件
← タグ一覧へ戻る
AIの異常検知をデータ分析で検算：GA4の外れ日を3つの基準で比較
AI 異常検知をデータ分析に使う前の確かめ方です。GA4 公開サンプルの日別セッション数 92 日を AI に 3 通りの頼み方で見せ、挙げた外れ日を標準偏差・四分位・曜日別の 3 基準の SQL と突き合わせました。
GA4の商品別売上をAIに書かせて検算：UNNESTで4.4倍になる足し方
GA4 の商品別売上を AI に SQL で書かせ、公開サンプルの 2020 年 12 月分で検算しました。items を UNNEST した後にイベント全体の売上を足すと合計が 4.43 倍になる理由と、正しい項目を使わせる質問文と検算 SQL の型を紹介します。
GA4の流入元別集計をAIに書かせて検算：合計が1.6万人ずれた理由
GA4 の流入元別のユーザー数と購入率を AI に SQL で出させ、公開サンプルの 2021 年 1 月分で検算しました。単位を書かない質問で合計が 16,083 人多く出た理由と、数え方をそろえる質問文の型を紹介します。
AIのデータ分析プロンプト4本：集計表の計算を行数別に検算
AI のデータ分析プロンプトを 4 本用意し、GA4 公開サンプルの 10 行・31 行・92 行の表で合計・購入率・増減率を答えさせました。正解と突き合わせると 36 回とも一致し、ずれは出ませんでした。検算しやすい頼み方と定義の注意点も紹介します。
GA4ファネルをAIに数えさせて検算：離脱率が12ポイント超ずれた理由
GA4 の公開サンプル 2021 年 1 月分で、AI に書かせたファネルの SQL を、順番を守って数えた検算用 SQL と比べました。定義なしの質問ではカート→購入手続きの離脱率が 12.45 ポイント低く出て、単位と順番を書くと差は 2.71 ポイント以内に縮みました。
AI の有意差判定を検算する：GA4 の端末別購入率で 9 回試した
GA4 公開サンプルの端末別購入率を AI に渡し、有意差の判定を頼み方 3 通り × 期間 3 通りで答えさせました。SQL と手計算の検算では 9 回とも z と p 値が一致した一方、p 値は 0.054 と境界で、丸め方ひとつで結論が逆になりました。
AI に来月のセッション数を予測させて実績で検算する：GA4 公開サンプルで「前週同曜日」と誤差率を比べた
GA4 公開サンプルの 11〜12 月の日別セッション数を AI に渡し、1 月 31 日分を予測させました。隠した実績で検算した MAPE は 14.1% と 17.5% で、前週同曜日の 21.9% より良く、4 週曜日平均の 15.5% とは引き分けでした。
「先月なぜ売上が落ちたか」を AI に探させて検算する：GA4 公開サンプルの 12 月→1 月を区分別に寄与度分解し、AI.KEY_DRIVERS の答えと比べた
GA4 公開サンプルで 12 月→1 月に 64% 落ちた購入売上を、国・端末・流入元ごとに寄与度分解し、BigQuery の AI.KEY_DRIVERS が挙げた要因と突き合わせました。比べられた 4 区分の差分はすべて一致しましたが、上位を足すと 146% になる落とし穴も見つかりました。
AI に自由記述を分類させた集計はどれだけ正しいか：正解ラベル付きの公開レビュー 200 件で正解率と割合のずれを検算した
正解ラベル付きの公開レビュー 200 件を AI に肯定・否定で分類させ、正解と突き合わせました。正解率は 97.0%、肯定の割合のずれは +1.0 ポイント。評価点が中間寄りの帯ではずれが +3.5 ポイントに広がりました。検算の SQL と手順も紹介します。
AI にレポートの修正案を「変更前・変更後の対応表」で出させて SQL で検算する：誤りを 8 か所混ぜた月次レポートで試した結果
GA4 公開サンプル 2 か月分の正解表で書いた月次レポートに誤りを 8 か所混ぜ、AI に対応表で直させました。機械の検査は 9 件すべて通り、SQL の正解と筆者が決めた購入率の定義に照らすと 2 件が誤りだった結果と、手順をまとめます。
AI に GA4 の SQL をレビューさせるプロンプト 4 本：わざと誤りを入れた 5 本の SQL を直せるかを公開サンプルで検算した
GA4 公開サンプル向けに誤りを 1 つずつ入れた 5 本の SQL を、4 種類のプロンプトで AI にレビューさせ、修正版を BigQuery で実行して検算しました。定義を渡したときだけ全部見つかり、自由指摘は余計な指摘が 16 件に増えました。
AI に GA4 月次レポートを書かせるプロンプト 6 本と検算方法：原因を求めると半分以上の文に誤りが出た
GA4 公開サンプルデータの月別集計表を 6 種類のプロンプトで AI に渡し、生成文を 1 文ずつ表と突き合わせました。原因の推測を求めると 24 文中 13 文（54.2%）に誤りが出て、そのうち 12 文が表から確かめられない原因だった結果と、プロンプトごとの検算方法をまとめます。
AI に書かせた GA4 の BigQuery SQL を検算する：セッション数・ユーザー数・購入率の 3 問を公開サンプルで比べた
GA4 の公開サンプル 1 日分で、質問文だけを渡して AI に書かせた 1 例の SQL と公式の定義どおりの SQL を実行して比べました。セッション数は 37 少なく、購入率は高めに出ました。原因と、自分のデータで検算する手順を紹介します。