データパイプライン廃止の判断:31件入り0本の経路を止めた記録

入力31件・公開0本だった記事生成の経路と、170回動いて問題0回の検査をどう見つけて止めたか。データパイプライン廃止を4つの指標で判断し、止める順番と配布で設定が戻るつまずきを記録します。

19分で読めます Data
3本の配管のうち2本は栓で止められて灰色になり、青い1本の出口にだけ記事が積み重なっているイラスト
この記事は AI が下書きを補助し、運営者が内容を確認して公開しています。

社内のデータ連携や自動処理を少しずつ増やしてきた方向けに、データパイプライン廃止の判断を、このサイトで実際に止めた経路の数字で説明します。読み終わると、使われていない処理を数字で見つけ、安全な順番で止められるようになります。

この記事で分かること

  • 使われていない処理を見つけるための 4 つの指標(入力の件数・出力の件数・最後に出力が出た日・動かす費用)
  • 同じ目的の処理が 2 つあるとき、どちらを残すかの決め方
  • 止める順番と、止めたはずの設定が戻ってくるつまずき

ざっくり結論:入力と出力の件数を並べると、止める経路が見つかる

このサイトでは、記事を作る自動処理の経路が複数ありました。そのうち 1 つは、入力が 31 件たまったのに、公開まで進んだ記事は 0 本でした。

データパイプライン(データを受け取り、加工し、次の場所へ渡す一連の自動処理のこと)は、エラーを出さずに動いていると、役に立っているように見えます。入力の件数と出力の件数を同じ表に並べると、動いているのに何も生み出していない処理が見つかります。筆者は、この見方で 3 つの経路と 1 つの検査を止めました。

何が起きていたか:31 件入って 0 本だった経路

ここから先は、筆者がこのサイトの運用で試した記録です。廃止の前、記事を作る経路は大きく 2 つありました(図 1)。

廃止前の記事づくりの経路を上下に並べ、Issue を閉じる経路は待ち行列31件から公開0本、毎日の定期実行は公開67本につながる構造図

1 つ目は、Issue(GitHub で作業や課題を 1 件ずつ管理する仕組み)を閉じると、記事の候補として待ち行列(処理を待つものを並べておく場所)に入る経路です。入ったことを示す目印として、Issue に blog:queued というラベル(Issue に付ける分類の札)が付きました。

2026-11-11 の時点で、このラベルの付いた閉じた Issue は 31 件ありました。しかし、そこから公開された記事は 0 本でした。待ち行列に入れる処理は動いていたのに、待ち行列から取り出して記事にする処理が働いていなかったのです。

2 つ目は、毎日 06:30 に手元の Mac で動く定期実行(決まった時刻に自動で動く処理)です。この経路は Issue を読みません。Merge 済みの PR と直近 45 日の作業履歴から話題を選び、下書きと PR を作って公開記事にします。

ほかにも、止めた処理が 3 つあります。役目を果たしていなかった経路 2 つと、問題を見つけていなかった検査 1 つです。

止めた処理見つけた数字
Actions で記事本文を作る経路最後の実行が 2026-04-17
公開後にラベルを変える処理対象は 81 本中 19 本
CI(自動の検査)170 回で問題の発見 0 回

1 行目の経路では、本文を作る側が 2026-04-17 から動いていませんでした。それなのに、指示を送る側は 2026-11-10 まで 12 時間ごとに動き続け、受け取る相手のいない指示を出し続けていました。

2 行目の処理は、出典の情報を持つ記事だけを扱う作りでした。公開済み 81 本のうち出典の情報を持つのは 19 本(筆者計算で 23.5%)で、毎日の定期実行が作る記事は 1 本も対象になりませんでした。

3 行目の CI(GitHub Actions でコードを自動チェックする仕組み)は、170 回動いて本当の問題を見つけた回が 0 回でした。CI をやめて手元の検査に替えた経緯は CI と手元検査の選び方:13 本中 1 本しか動かなかった記録 にまとめています。

廃止を判断する 4 つの指標

動いている処理を止めてよいかは、次の 4 つの指標で判断しました。どれも、処理の記録や作業履歴から数えられる値です。

指標何を数えるか止める候補になる形
入力の件数処理に入ったもの入力だけ増えている
出力の件数次の工程に渡ったもの0 のまま
最後の出力日最後に成果が出た日何か月も前
動かす費用実行時間 × 単価出力 0 なのに発生

4 つの中で、いちばん効くのは出力の件数です。費用が小さくても、出力が 0 なら、その処理は誰の役にも立っていません。出力が 0 の処理は、費用が小さくても止める候補に入れます。

最後の出力日は、出力の件数を補います。出力が 0 でも、作ったばかりの処理なら、まだ結果が出ていないだけかもしれません。最後の出力日が古いほど、「たまたま 0」ではないと言えます。

費用は、止める理由の主役ではなく、出力 0 の処理が黙って使っている量を示す値として使いました。理由は次の節の計算で分かります。

廃止した経路と残した経路を同じ表で比べる

同じ目的(記事を作る)の経路を、4 つの指標で 1 つの表に並べました。

指標Issue を閉じる経路毎日の定期実行
入力の件数31 件確認できなかった
出力(公開)0 本67 本
最後の出力無し2026-11-14
Actions の費用回数の記録なし使わない
判断廃止残す

毎日の定期実行の 67 本は、筆者が作業履歴(git log)から数えた記事の本数です。この経路の公開の記録は、件名が「publish N AI pipeline article(s)」(N は公開した本数)の形になります。記録は 55 件あり、その N を足すと 67 本でした。

git log origin/main --format='%s' | grep -oE 'publish [0-9]+ AI pipeline article\(s\)' | awk '{s+=$2} END {print s}'

55 件の内訳は、1 本ずつ公開した記録が 54 件と、2026-10-28 に 13 本をまとめて公開した記録が 1 件です。期間は 2026-10-28 から 2026-11-14 までの 18 日間です。

図 2 は、入った件数と公開まで進んだ件数を並べたものです。31 件がたまった期間は記録から確かめられなかったため、2 つの経路の比率は比べていません。

Issue を閉じる経路は待ち行列に31件入って公開0本、毎日の定期実行は公開67本であることを比べた横棒グラフ

項目件数
Issue 経路:待ち行列に入った31 件
Issue 経路:公開された0 件
毎日の定期実行:公開された67 件

同じ目的の処理が 2 つあるときは、出力の件数が多く、最後の出力が新しいほうを残しました。両方を直して残す案もありました。しかし、出力 0 の経路を直すより、成果が出ている経路に一本化したほうが、見る場所が 1 つで済みます。

動かし続けた場合の費用を料金表から計算する

廃止した経路は GitHub Actions で動いていました。GitHub Actions は、GitHub の上で自動処理を動かす仕組みで、実行した時間に応じて料金がかかります。

料金表(2026-11-15 時点)では、標準の Linux 2 コアの実行環境は 1 分あたり 0.006 USD で、1 分未満の端数は 1 分に切り上げます(GitHub Docs: Actions runner pricing)。非公開のリポジトリでは、プランごとに含まれる利用枠があり、Free は月 12 USD、Pro と Team は月 18 USD です(GitHub Docs: GitHub Actions billing)。筆者が計算すると、12 USD は 2,000 分、18 USD は 3,000 分に当たります。

廃止したワークフローの 1 回あたりの実行時間は、記録に残っていませんでした。そこで、1 回 1 分・3 分・10 分の 3 通りで計算しました。実行回数のうち、記録に基づくのは「12 時間ごと = 月 60 回」だけで、月 30 回と月 120 回は比べるための仮定です。

実行回数が月30回・60回・120回、1回の実行時間が1分・3分・10分の組み合わせごとに、GitHub Actions の月額を比べた棒グラフ

月の実行回数1 回 1 分1 回 3 分1 回 10 分
月 30 回(仮定)0.18 USD0.54 USD1.8 USD
月 60 回(12 時間ごと)0.36 USD1.08 USD3.6 USD
月 120 回(仮定)0.72 USD2.16 USD7.2 USD

式は「実行回数 × 1 回の分数 × 0.006 USD」です。月 60 回・1 回 10 分でも 3.6 USD で、Free の利用枠 12 USD の 30% です。

累計でも計算しました。指示を送る側が、受け取る側の最後の実行(2026-04-17)から止めた日(2026-11-10)までの 207 日間、12 時間ごとに途切れず動いたと仮定すると 414 回です。1 回 1 分なら 2.48 USD、3 分なら 7.45 USD、10 分なら 24.84 USD です。

CI の 170 回は、1 回 3 分で 3.06 USD、10 分で 10.20 USD でした(期間が分からないため月額ではありません)。

このリポジトリは非公開ですが、プラン名は確かめていません。そのため、実際に請求されたかではなく、「含まれる利用枠を使っていた」と考えるのが正確です。金額だけを見れば小さく、廃止の決め手は費用ではなく出力が 0 だったことでした。

毎日の定期実行を手元の Mac で動かす費用と、Actions・Cloud Run で動かす費用の比べ方は 毎日の AI 実行をどこで動かすか:手元の Mac・Cloud Run Jobs・GitHub Actions の月額 で試算しています。

止めた順番(入口・設定・文書)

止める作業は、ファイルを消して終わりではありませんでした。筆者は、図 3 の 6 つの順番で進めました。

数字で確かめる、読み手を洗い出す、入口を止める、残す設定を決める、文書を直す、戻っていないか確かめる、の6工程を上から下へ並べた流れ図

  1. 数字で確かめる:入力 31 件・公開 0 本、最後の実行日を記録に残す
  2. 読み手を洗い出す:止める処理の出力を、ほかに読む処理が無いかを探す
  3. 入口を止める:ワークフローのファイルを削除する
  4. 残す設定を決める:ラベルや外部の予定を、残すか外すかを決める
  5. 文書を直す:止めた経路を説明していた規則や手順書を書き直す
  6. 戻っていないか確かめる:消したファイルが復活していないかを見る

2 の「読み手を洗い出す」で、止める順番が変わりました。指示を送る側が書き出す指示のファイルは、削除する処理だけが読んでいました。そこで、送る側と受け取る側を一緒に削除しました。

一方、blog:queued のラベルは、毎日の定期実行の企画の処理も読んでいました。同じ作業から記事が 2 本できないよう、順番待ちの話題を企画から外すためです。そのため、ラベルを付ける処理はすぐには消さず、企画の側を直した後の 2 回目の変更で止めました。

5 の「文書を直す」では、規則・手順書・Issue のひな形を、削除と同じ変更の中で書き直しました。過去の判断の記録(ADR、なぜその設計にしたかを残す文書)は本文を残し、状態の節に 1 行だけ足しました。判断の経緯は残し、今は使っていないことだけを示すためです。

4 の「残す設定を決める」では、31 件の Issue からラベルを外す作業は、削除が反映された後に回しました。リポジトリの外にある別の予定の実行は、変更の中では止められないため、止めるかどうかは、サイトの運営者(筆者)が別に判断することにしました。

つまずきやすい点:止めたはずの設定が配布で戻ってくる

止める作業で、筆者がつまずいた点は 3 つありました。

開発用のブランチで消しても止まらない

指示を送る処理は、削除の変更を開発用のブランチに入れても、main からファイルが消えるまでは止まりませんでした。GitHub の公式文書では、スケジュール実行は既定のブランチ(リポジトリで基準になるブランチ。このサイトでは main)の最新のコミットにあるワークフローで動き、最短の間隔は 5 分とされています(GitHub Docs: Events that trigger workflows)。スケジュール実行のワークフローは既定のブランチにあるファイルで動くため、開発用のブランチで消しただけでは止まりません。

同じ理由で、公開後にラベルを変える処理も、main に古い版が残っていました。その間、記事を公開するたびに、削除する前の配信の工程が動き、配信先へのファイル転送で失敗が出ていました。

止めたはずの設定が配布で戻ってくる

このサイトでは、AI の規則や検査の設定を、別のリポジトリから配布スクリプト(共通の設定ファイルを複数のリポジトリへ写すスクリプト)で配っています。CI をやめたとき、CI 用のワークフローと検査のスクリプトを削除し、書き換えました。

ところが、配布スクリプトをもう一度実行すると、削除したワークフローと書き換えたスクリプトの 2 つが元の版に戻ります。配布スクリプトで設定を配っている場合は、止めた後に配布を実行すると削除したファイルが戻ってくることがあります。このサイトでは、戻ったら削除し直す決まりを規則のファイルに書きました。

自分の成果を数えるときに、別の経路の記録が混ざる

残す経路の公開本数を、筆者は最初、件名に release(blog) を含む公開の記録を数えて 60 件としていました。この 60 件は記事の本数ではなく、記録の件数です。内訳は次のとおりでした。

60 件の内訳件数
定期実行:1 本ずつの記録54 件
定期実行:13 本まとめての記録1 件
2026 年 4 月の別の経路の記録5 件

4 月の 5 件は別の経路の成果なので、数から外す必要がありました。一方、13 本をまとめた記録は 1 件でも記事は 13 本あるため、記録の件数のままでは成果を少なく見積もります。成果を数えるときは、記録の件数ではなく、その処理だけが付ける印から本数を数えると正確です。

自社の処理を棚卸しする手順

ここまでの記録を、ほかの組織でも使えるバッチ処理の棚卸し(定期的に動く処理を一覧にし、続けるか止めるかを決めること)の手順にまとめます。

  1. 定期的に動く処理を一覧にする(スケジュール実行、Issue や PR を起点にする処理、外部の予定)
  2. 処理ごとに、入力の件数と出力の件数を数える
  3. 最後に出力が出た日を書き込む
  4. 実行回数と 1 回の実行時間から、費用を「回数 × 分数 × 単価」で出す
  5. 出力が 0 の処理を、止める候補にする
  6. 同じ目的の処理が 2 つあれば、出力が多く最後の出力が新しいほうを残す
  7. 止める処理の出力を読むほかの処理が無いかを探す
  8. 既定のブランチから削除し、文書を直し、配布の後に戻っていないかを確かめる

手順 2 と 3 は、ダッシュボードやデータ連携の処理でも同じです。出力が 0 のダッシュボードは、アーカイブ(消さずに保管し、一覧から外すこと)してから削除を決める方法もあります。

非公開のリポジトリかどうかで、Actions の利用枠の扱いが変わります。このサイトでは、次のコマンドで非公開であることを確かめました(OWNER/REPO は自分のリポジトリの名前に置き換えます)。

gh repo view OWNER/REPO --json isPrivate

同じ処理が二重に動いて判定が狂った例は データパイプラインの冪等性:PR が 2 つでき判定が狂った構築ログ に、手元の Mac で定期実行を動かし始めたときの記録は AI エージェントの毎日自動実行が初回 0 本で止まった構築ログ にあります。

まとめ

  • 動いている処理は、入力の件数・出力の件数・最後の出力日・費用の 4 つで並べると、止める候補が見つかります。このサイトでは、31 件入って 0 本の経路と、170 回で問題 0 回の検査を止めました。
  • 費用は 1 回 10 分・月 60 回でも 3.6 USD と小さく、止める決め手は出力が 0 であることでした。同じ目的の処理は、出力が多く新しいほうを残します。
  • 止めるときは、読み手を洗い出す → 既定のブランチから消す → 文書を直す → 配布で戻っていないか確かめる、の順に進めます。

社内のデータ連携や定期処理の棚卸しを一緒に進めたい場合は、相談の窓口 からご連絡ください。BigQuery の集計の SQL を見直したい場合は、BigQuery SQL レビューパックも用意しています。

参考にした一次情報