GA4エンゲージメント率をAIに書かせて検算:定義で変わる値

GA4 のエンゲージメント率を出す BigQuery の SQL を AI に書かせ、公開サンプル 1 か月分で検算しました。AI の答えは 54.17% と 53.34% に分かれ、分母をイベント数にした形は 70.79% でした。値が分かれる理由と、質問文に足す定義を紹介します。

19分で読めます Data
イベントの点を囲んだセッションの枠から 3 通りの数え方の線が伸び、ほぼ同じ長さの棒 2 本と長すぎる棒 1 本を虫めがねで見比べている抽象図
この記事は AI が下書きを補助し、運営者が内容を確認して公開しています。

GA4 の画面でエンゲージメント率を見ていて、BigQuery のデータで同じ数字を出す SQL を AI に書かせているマーケターの方向けの記事です。GA4 のエンゲージメント率を AI に計算させ、公開サンプルで検算して、数え方の違いで値がどれだけ変わるかを確かめました。読み終わると、AI の SQL がどの定義で数えたかを見分け、質問文に定義を書き足して確かめられるようになります。

この記事で分かること

  • AI に「エンゲージメント率を出して」と頼んだ時に返った SQL と、その SQL が使った定義
  • 数え方(セッションの数え方、エンゲージメントの条件)の違いで、値が何ポイント変わるか
  • 今回の結果から筆者がまとめた、質問文に書き足す 3 行の案

ざっくり結論:AI の答えは 2 つの定義に分かれ、イベント数で割る形が一番ずれる

AI(Claude Sonnet 5.5)に質問文を 3 通り渡し、返った SQL を公開サンプルの 2020 年 12 月分で実行した結果です。

数え方エンゲージメント率誰が書いたか
質問 1(定義なし)54.17%AI
質問 2・3(定義あり)53.34%AI
分母をイベント数にする70.79%筆者(誤りの形)

定義を書かない質問 1 でも、AI はセッション単位で数える SQL を返しました。ただし質問 1 と質問 2 では、根拠にした定義が違うため 0.82 ポイント(1,098 セッション)ずれました。AI の SQL の数字をレポートに載せる前に、分母がセッション数か、どの条件でエンゲージメントを数えたかを必ず確かめてください。

なお、AI の答えは、この記事の調査を担当したのと同じモデルに 1 回ずつ書かせた結果です。「定義を書かないと AI が誤る」ことは、今回は起きていません。分母をイベント数にした 70.79% は、AI の答えではなく、筆者がわざと組んだ誤りの形です。

エンゲージメント率の公式の定義を確かめる

Google アナリティクスのヘルプでは、エンゲージメント率(ウェブサイトやアプリのセッションのうち、エンゲージメントがあったセッションの割合)と直帰率(エンゲージメントが無かったセッションの割合)は、どちらもエンゲージメント セッションの数から決まると書かれています(GA4 のエンゲージメント率と直帰率)。直帰率はエンゲージメント率の反対です。

エンゲージメント セッションは、次の 3 つの条件のどれか 1 つを満たすセッションです(同じヘルプ)。

  1. 10 秒以上継続する
  2. キーイベント(購入や問い合わせなど、サイトの目的の達成として設定したイベント)が発生する
  3. ページビューまたはスクリーン ビューが 2 回以上発生する

1 つのセッションが、10 秒以上・キーイベント・ページ表示 2 回以上のどれか 1 つを満たすとエンゲージメントありになり、どれも無いと直帰になる構造図

図 1 のとおり、3 つの条件は「すべて」ではなく「どれか 1 つ」です。10 秒の値は既定で、管理画面で変えられます(セッションについてのヘルプ)。また、first_visit や session_start は、キーイベントにしていてもこの計算から外されます(エンゲージメント率と直帰率のヘルプ)。

使うデータと、セッションを数える単位

使うデータは、Google が公開している GA4 の BigQuery(Google の大量データ向けのデータベース)サンプル bigquery-public-data.ga4_obfuscated_sample_ecommerce です。Google Merchandise Store のデータを難読化(個人が分からないよう値を加工すること)したもので、2020 年 11 月から 2021 年 1 月の 3 か月分が入っています(サンプル データセットの説明)。今回はそのうち 2020 年 12 月の 31 日分を使いました。

BigQuery のデータは 1 行が 1 イベント(ページ表示やスクロールなどの 1 回の動き)です。そのため、セッションの数を出すには、イベントをセッションごとにまとめる必要があります。ヘルプでは、user_pseudo_id(ブラウザごとの匿名の ID)と ga_session_id(セッションの ID)を結び付けて、セッションを区別する方法が紹介されています(セッションについてのヘルプ)。

最初に 1 日分(12 月 1 日)を調べたところ、エンゲージメントに関係する値は次のように入っていました。

イベントsession_engaged滞在時間の値
page_view21,511 行すべてに有り0 行
session_start無し無し
first_visit無し無し

表の「session_engaged」は、イベントのパラメータ(イベントに付いている追加の情報)の 1 つで、'0' か '1' の文字列が入っていました。user_engagement・scroll・purchase などにも付いていましたが、session_start と first_visit には付いていません。

page_view には、滞在時間を表す engagement_time_msec(ミリ秒)が付いていませんでした。ヘルプによると、滞在時間は次に送られるイベントに付けて送られます(ユーザー エンゲージメントのヘルプ)。

session_engaged の意味は、今回読んだ公式ヘルプ(BigQuery Export スキーマを含む)では見つかりませんでした。この記事では、筆者が実行した問い合わせで確かめた中身だけを書きます。

AI への質問文 3 通りと、返ってきた SQL

質問文 3 通りを AI に渡して SQL を受け取り、実行した結果を、筆者が組んだ検算 SQL 3 通りと突き合わせ表で比べる流れ図

図 2 の順番で進めました。3 通りとも、テーブル名と期間(2020 年 12 月)だけは同じ文で伝えています。

質問 1:定義を書かない

GA4 の BigQuery エクスポートデータ(bigquery-public-data.ga4_obfuscated_sample_ecommerce.events_*)で、
2020 年 12 月のエンゲージメント率を出す SQL を書いてください。

返ってきた SQL は、session_engaged のパラメータをセッションの中で MAX で見る形でした。セッションは user_pseudo_id と ga_session_id の組で数えています。

WITH sessions AS (
  SELECT
    CONCAT(user_pseudo_id, '-', CAST((SELECT value.int_value FROM UNNEST(event_params) WHERE key = 'ga_session_id') AS STRING)) AS session_key,
    MAX(IF((SELECT value.string_value FROM UNNEST(event_params) WHERE key = 'session_engaged') = '1', 1, 0)) AS is_engaged
  FROM `bigquery-public-data.ga4_obfuscated_sample_ecommerce.events_*`
  WHERE _TABLE_SUFFIX BETWEEN '20201201' AND '20201231'
  GROUP BY session_key
)
SELECT
  COUNT(*) AS sessions,
  SUM(is_engaged) AS engaged_sessions,
  SAFE_DIVIDE(SUM(is_engaged), COUNT(*)) AS engagement_rate
FROM sessions

質問 2:公式の定義を文で書く

(質問 1 の文に続けて)
定義: セッションは user_pseudo_id と ga_session_id の組で数えます。
エンゲージメント率 = エンゲージメント セッション数 ÷ 全セッション数。
エンゲージメント セッションは、次のいずれかを満たすセッションです。
(1) 10 秒以上継続する(engagement_time_msec の合計が 10000 以上)
(2) キーイベントが発生する(ここでは purchase イベント)
(3) page_view が 2 回以上発生する

返ってきた SQL は、セッションごとに滞在時間の合計、page_view の回数、purchase の回数を数え、3 つの条件の OR で判定する形でした。session_engaged は使っていません。

WITH sessions AS (
  SELECT
    user_pseudo_id,
    (SELECT value.int_value FROM UNNEST(event_params) WHERE key = 'ga_session_id') AS ga_session_id,
    SUM(IFNULL((SELECT value.int_value FROM UNNEST(event_params) WHERE key = 'engagement_time_msec'), 0)) AS engagement_msec,
    COUNTIF(event_name = 'page_view') AS page_views,
    COUNTIF(event_name = 'purchase') AS purchases
  FROM `bigquery-public-data.ga4_obfuscated_sample_ecommerce.events_*`
  WHERE _TABLE_SUFFIX BETWEEN '20201201' AND '20201231'
  GROUP BY user_pseudo_id, ga_session_id
)
SELECT
  COUNT(*) AS sessions,
  COUNTIF(engagement_msec >= 10000 OR purchases >= 1 OR page_views >= 2) AS engaged_sessions,
  SAFE_DIVIDE(COUNTIF(engagement_msec >= 10000 OR purchases >= 1 OR page_views >= 2), COUNT(*)) AS engagement_rate
FROM sessions

質問 3:分母と分子を確かめる SQL も頼む

質問 2 の文に、「分母と分子を別々に出す確認用の SQL と、条件ごとに当てはまるセッション数を出す SQL も書いてください」と足しました。AI は質問 2 と同じ SQL に加えて、条件ごとの件数を COUNTIF で数える確認用の SQL を返しました。確認用の SQL そのものは今回は実行していません。同じ内訳は、次の検算 B で数えています。

検算 SQL 3 通りで、比べる基準を作る

AI の SQL とは別に、筆者が検算用の SQL を 3 通り組んで実行しました(BigQuery で bq query を使用)。

検算数え方処理量
Asession_engaged を MAX で見る約 0.58 GB
B3 つの条件を自分で組む約 0.60 GB
Cイベント数で割る(誤り)約 0.49 GB

処理量は、実行前の見積もり(dry run。実際には実行せず、読むデータ量だけを調べる機能)の値です。検算 A は質問 1、検算 B は質問 2 と同じ集計です。

検算 C は AI の答えではなく、1 行 = 1 イベントのまま COUNT(*) で割る取り違えを、筆者が再現した形です。あわせて、ga_session_id だけでセッションを数える誤りの形も試しました。

検算の突き合わせ表:どの質問文で、どの検算と値が揃ったか

AI の質問 1 と質問 2、検算 A と B、誤りの形 2 つのエンゲージメント率を比べた横棒グラフ。イベント数で割った形だけが 70.79% と大きく、ほかは 53〜55% に集まる

図 3 と次の表のとおり、AI の 2 本の SQL は、それぞれ検算 A と検算 B に完全に一致しました。

数え方分子分母率
AI 質問 172,239133,36854.17%
AI 質問 2・371,141133,36853.34%
検算 A パラメータ72,239133,36854.17%
検算 B 条件で組む71,141133,36853.34%
誤り ID だけで数える70,973129,37654.86%
誤り イベントで割る1,141,5701,612,72570.79%

筆者がこの表から計算すると、検算 A と B の差は 1,098 セッションで 0.82 ポイントです。イベント数で割った形は、検算 A より 16.62 ポイント高くなりました。1 セッションあたり平均 12.09 個のイベントがあり、エンゲージメントのあったセッションほどイベントが多いため、イベント単位では率が高く出ると考えられます。

ga_session_id だけで数えた形は、分母が 3,992 セッション少なくなり、率は 0.69 ポイント高くなりました。別の人のセッションが同じ ID でまとめられたためと考えられます。どちらの誤りも、AI の SQL ではなく筆者が組んだ形です。

条件ごとの内訳:差を生んだのはどの条件か

検算 B の 3 つの条件が、それぞれ何セッションに当てはまったかを数えました。

全 133,368 セッションのうち、10 秒以上が 61,787、ページ表示 2 回以上が 54,954、purchase ありが 2,116、どれにも当てはまらないが 62,227 セッションだったことを示す横棒グラフ

図 4 の棒は、1 つのセッションが複数の条件に入るため、足しても全数になりません。重なりを分けた内訳は次のとおりです(「だけ」の 2 行は問い合わせの結果、「両方」は筆者が 61,787 + 54,954 − 71,141 で計算)。

内訳セッション数割合
10 秒以上だけ16,18712.14%
ページ表示 2 回以上だけ9,3547.01%
両方を満たす45,60034.19%
どれにも当てはまらない62,22746.66%
合計133,368100%

purchase だけで条件を満たしたセッションは 0 でした。表の数から筆者が計算すると、purchase のあった 2,116 セッションはすべて「両方を満たす」の中に入ります。そのため、このサンプルでは purchase の条件を外しても、率は 53.34% のまま変わりません。

一方、10 秒の条件を外すと率は 41.20% に、ページ表示 2 回の条件を外すと 46.33% に下がります(筆者計算)。エンゲージメント率を自分で組む SQL では、10 秒以上の条件を落とすと値が大きく下がるため、滞在時間の集計が入っているかを最初に確かめてください。

session_engaged は、セッションの途中で 0 から 1 に変わる

session_engaged の値は、同じセッションの中で '0' から '1' に変わっていました。エンゲージメントのあった 72,239 セッションのうち 70,821(98.04%、筆者計算)は、'0' のイベントも含んでいます。

「すべてのイベントが '1'」のセッションだけを数えると、率は 1.06% まで下がる計算です(筆者計算)。セッション単位では、質問 1 の SQL のように MAX(1 つでも '1' があればエンゲージメントあり)で判定します。

質問文に書き足す 3 行

質問 2・3 の結果をもとに、筆者が次に使う質問文として 3 行にまとめた案です。この 3 行そのものを AI に渡して試してはいないため、返った SQL は必ず検算してください。

セッションは user_pseudo_id と ga_session_id の組で数え、分母はセッション数にしてください。
エンゲージメントの判定は「session_engaged を MAX で見る」か「10 秒以上・キーイベント・page_view 2 回以上のどれか」のどちらを使うかを明記し、使った方を SQL のコメントに書いてください。
分母と分子を別々に出し、条件ごとに当てはまるセッション数も出す確認用の SQL を付けてください。

1 行目は分母の取り違えを防ぎ、2 行目は AI が選んだ定義を見えるようにします。3 行目は、出てきた率を内訳から確かめるためのものです。

SQL の検算の進め方は、AI に書かせた GA4 の SQL をセッション数・ユーザー数・購入率で検算した記事でも紹介しています。AI に SQL を見直させる質問文は、AI に GA4 の SQL をレビューさせるプロンプトを試した記事も参考になります。

つまずきやすい点:サンプルの限界、10 秒の扱い、直帰率との関係

サンプルの値は GA4 の画面と比べられない

公開サンプルは難読化されていて、Google Merchandise Store の GA4 デモアカウントのデータとは別物です(サンプル データセットの説明)。そのため、54.17% と 53.34% のどちらが GA4 の画面の値に近いかは、今回は確かめられていません。自社のデータでは、session_engaged で数えた値と 3 つの条件で数えた値の両方を GA4 の画面の値と並べ、近い方の定義を選んでください。

「10 秒以上」は滞在時間の合計で近づけている

検算 B と質問 2 では、engagement_time_msec の合計が 10,000(10 秒)以上を「10 秒以上継続する」とみなしました。公式ヘルプには、この 2 つが同じだとは書かれていないため、筆者の近似です。session_engaged が '1' なのに条件を満たさないセッションが 1,127、その逆が 29 ありましたが、理由は確認できていません。

キーイベントは purchase だけとして扱った

サンプルのキーイベントの設定は分からないため、purchase だけをキーイベントとして扱いました。自社のデータでは、問い合わせなど自分で設定したキーイベントを条件に入れます。

直帰率は「1 − エンゲージメント率」

直帰率はエンゲージメント率の反対なので(エンゲージメント率と直帰率のヘルプ)、検算 A なら 45.83%、検算 B なら 46.66% です(筆者計算)。エンゲージメント率と同じ定義の違いが、そのまま直帰率のずれになります。

流入元別の集計で、セッションの範囲の取り違えから合計がずれた例は、GA4 の流入元別集計を AI に書かせて検算した記事で紹介しています。

まとめ

  • AI に定義を書かずに頼んだ SQL は session_engaged で数えて 54.17%、定義を文で書いた SQL は条件で組んで 53.34% になり、それぞれ検算と一致しました。差の 0.82 ポイントは、AI の誤りではなく根拠にした定義の違いです。
  • 分母をイベント数にする誤りの形では 70.79%(16.62 ポイント高い)になり、今回試した中で最も大きくずれました。条件では 10 秒以上を落とすと 12.14 ポイント下がります。
  • 質問文には「分母はセッション数」「どちらの定義を使うか」「確認用の内訳も出す」の 3 行を足すことを提案します(筆者の案で、この 3 行そのものは試していません)。返った率は内訳と画面の値で確かめます。

次にやること

エンゲージメント率をどう見せるかの参考には、ダッシュボードの一覧で、このサイトが公開データから作ったダッシュボードの例をご覧ください。AI が書いたエンゲージメント率の SQL が、狙った定義と分母で数えているかを第三者の目で確かめたい場合は、BigQuery SQL レビューパックもご利用いただけます。

参考にした一次情報