Claude Codeのクラウド実験を41番まで続けて分かったこと — 自律開発・品質・レビュー・費用の実態
Claude Codeのクラウド環境に、ソフトウェア開発をどこまで任せられるのか。この問いに答えるために、私は実験を企画し、実装と検証をClaude Codeに任せる形で続けてきた。実験には1から41まで番号を振った。保存記録を確認できたのは、そのうち39件である(Exp6とExp10は記録を確認できなかった。同じ番号の枝は1件として数えた)。実験を39件しか行っていないという意味ではなく、この記事で扱う範囲が、記録を確認できた39件だという意味である。この記事はシリーズの最終回として、個別の結果ではなく、全体を通して分かったことをまとめる。
結論を先に書く。作業の実行は、かなりの範囲を任せられた。新規のツール開発、実在OSSの不具合診断、障害注入つきのテスト作成は、人間が手を動かさなくても形になった。実装だけでなく、テストやレビューもClaude Codeに任せられた。しかし、AI自身のテストPASSや修正完了の報告だけでは、品質保証が完了したとは判断できなかった。開発を担当したClaude Codeが「テストはPASS」と報告したあとで、別のセッションが新しい欠陥を見つける例が繰り返し出た。AIの数を増やすだけでは十分でなく、レビュー担当に何を渡し、どの環境で動かすかといった条件の設計が重要に見えた。ただし、これは観察に基づく私の考察で、条件だけを変えて比べた試験ではない。費用は、実験ごとの消費額を確定できなかった。
各回の詳細は、第1回(テストPASSと独立レビュー)、第2回(実在OSSの診断)、第3回(強制終了と復旧)、第4回(無人実行)、第5回(開発とレビューの分担)にある。この回では、それらを横断して見えたことに絞る。
実験の設計と、この記事の範囲
私は実験の目的と大まかな条件を決め、具体的な題材の選定、詳細な仕様、テスト設計、実装、評価は主にAIに任せた。開始時に指示を出し、その後は基本的にClaude Codeに自律実行させている。一部の実験では、途中で継続の指示や追加の検証を出した。各実験の最終報告は私が読み、疑問があれば追加の検証を指示した。コードの調査やテストの実行は、基本的にAIが担当している。Exp1〜40では、第三者の人間によるコードレビューは行っていない。私が最終報告を読んだことは、独立したレビューではない。
使ったモデルは実験ごとに異なる。Exp20・31・34・36・38〜41は、Claude Code Sonnet 5.5(推論レベルMedium、デフォルト設定)である。Exp1〜7はMedium、Exp22・25・27・28・30はSonnet 5.5で行った。それ以外は、確認できた範囲を各回に書いた。Exp28のレビューには、別モデルとしてCodex(gpt-6.1-sol、推論レベルhigh)も使っている。
実験の件数は、番号1〜41のうち記録を確認できた39件である。Exp6とExp10は、記録を確認できなかった。8A・8B・8C、40・40B・40Cのように、同じ番号の枝は1件として数えた。以降の「39件」は、この記録確認済みの範囲を指す。記録の読み取りと集計は、記事の準備を手伝わせたClaude Codeのセッションが行った。この記事の数値は、特に断らない限り、各実験のセッションが保存した報告書の値である。別セッションの評価や再実行で確かめた値は、そう書く。実験の記録は私の非公開リポジトリにあり、読者は直接確認できない。
実験の条件や題材はばらばらである。このため、成功率のような全体の数字は出さない。件数は、観察した数にとどまる。
どんな作業を任せられたか
記録を確認できた39件を、テーマ別に7つへ整理した。排他的な分類ではなく、Exp33のように複数のテーマに当たる実験もある。行ごとの件数を足しても39にはならない。
| 種類 | 主な実験 | 内容 |
|---|---|---|
| 開発・監査・修正の連鎖 | 1〜9、11 | 診断CLIや検査CLIを開発し、別セッションが監査、さらに修正 |
| 並行開発と独立評価 | 8、12〜14、19 | 同じ仕様で2実装、または単独と複数の比較 |
| 評価器・復旧・並列 | 17、18、20、21 | 評価器の自動改善、中断からの再開、並列セッション |
| Issue起点・判断・クロスモデル | 23〜28 | Issueから修正、判断の品質、ClaudeとCodexのレビュー |
| 実在OSS | 29、30、35、37〜40 | httpx、click、urllib3などの不具合診断と修正 |
| 障害注入・耐障害性 | 31〜34、36、41 | SIGKILLやクラッシュ点を注入し、復旧を確認 |
| C→Rust移植 | 33 | 約839万件の差分比較 |
Claude Codeが実際に作ったものは、新規のCLI、評価器、ジョブランナー、移行ツール、Rustへの移植版、OSSの修正である。所要時間は、記録が残るものでおおむね十数分から1時間強だった。ただし、セッションの経過時間、AIが処理していた時間、バックグラウンドでの待機、概算値が実験ごとに混在しているため、厳密な比較や性能評価には使っていない。長いものでは、Exp36が約71分(開始と終了だけを実測)、Exp33が約66分(うち約25分はバックグラウンド待ち)、Exp40Cが約1時間20分(概算)だった。短いものは、Exp35と38が約15分、Exp1が約17分、Exp19が約19分である。
Exp1は、仕様から約17分で159件のテストが通るCLIを作った。Exp19は約19分、人間の介入なしの報告で146件のテストが通るGLB検査器を作り、Khronos公式の118モデルを118件処理した。これらは、小さな機能を、仕様が明確な状態で実装する作業を、短時間で任せられた例である。ただし、どれも報告された値で、品質の評価は次の節で見るように別である。
テストPASSは品質保証ではなかった
第1回で、開発側のPASSと、別セッションによるレビューの関係を、13組で集計した。12組で、別セッションが新しい指摘を出した。開発側の合格報告を確認できたのは12組で、そのうち11組が、合格のあとに新しい指摘を受けている。例えばExp1の159件のテストは通っていたが、Exp2の別セッションは13件の欠陥を見つけた。robots.txtの先頭にBOMがあるとDisallowが無効になる問題や、応答を少しずつ返すサーバーに対して絶対時間の制限がない問題が含まれる。
この数字は、確率ではない。開発側とレビュー側の両方の記録が残る実験を、母集団にした観察である。レビューは欠陥を探す目的で設計されており、レビュー側は同一モデル系統だった。「ほぼ毎回見つかる」とは読めない。13組目(Exp40B→40C)では、新しい欠陥は見つからなかった。
修正した結果が、新しい問題を生むこともあった。修正後のコードがレビュー対象になった9組のうち、既存の正常動作が壊れた回帰は2組、仕様と異なる挙動変更や互換性の破壊まで含めると5組だった。Exp9では、一方の修正が新たな2乗時間の処理を作り、もう一方の修正が出力先を/dev/nullにしたときの動作を壊した。Exp11が「病的な入力は全て線形」と報告した後も、別セッションは、別の入力で11〜23秒かかる例や、450秒でも打ち切れない例を見つけた。「全て」という自己申告の網羅性は、同じ作業者の範囲に限られていた。
テスト側の弱点も、同じ形で出た。第3回のExp41は、SIGKILLの7停止ポイントを注入して26件のテストが通った。しかし、第3回で保存コードを読み直したところ、5つの停止ポイントでは、再開後の検査が自分自身との比較になっていた。26件のPASSは、障害耐性の証明ではなかった。Exp31では、障害ルールが一度も発火しないままPASSする「空振りテスト」を、開発側自身が見つけ、未発火のルールをテスト失敗にするガードを入れている。テストが通ることと、テストが意図した場所に当たっていることは別だった。
独立レビューと分業で見えたこと
役割を分けて、効果がはっきり出たのは、コードの品質より仕様の品質だった(第5回)。Exp12では、契約(実装前に固定する仕様書)を書く担当、実装担当、契約だけからテストを書くQA担当に分けた。QA担当と実装担当は、契約の矛盾2件に、互いに独立に気づいた。ただし、同じ契約を渡された単独の実装(Exp13)と、評価担当の共通テスト439件で比べると、Exp12は439件、Exp13は438件で、区別できなかった。Exp13の1件の失敗は、テスト側の過剰な条件だった。この結果は、Claude Codeに私の環境で再実行させ、同じ値を確かめている。単独側は、Exp12が整えた契約を受け取っていたので、対称な比較ではない。
レビューの設計の違いは、結果に出た。Exp26では、別セッションが変更前と比べ、非rootで実測して、読み取り専用ファイルの保護迂回など3つの挙動変更を報告した。Exp28では、同じ欠陥を含む対象を、rootのLinuxで動くClaudeと、WindowsのCodexがレビューし、この保護迂回を両方が見逃した。モデル、環境、指示の観点、セッションの形が同時に違うので、決定的な要因は特定できない。確認済みの検出で、事前に固定した既知欠陥9件に対してClaudeは4件、Codexは1件、合算で5件だった。n=3対象×1回で、優劣は断定できない。一方で、Codexだけが確認済みで報告した重大欠陥もあった。別モデル、別環境のレビューが、別の欠陥に当たることは観察できた。
同一セッション内のサブエージェントのレビューは、指摘を出して開発側が直したが、重大な欠陥の一部は別の経路で見つかった。Exp36では、レビューが20件を報告し、重大なR1などは見つけたが、D4とD5はレビューの外で見つかった。件数が多いことが、検出力を意味するとは限らなかった。
実在OSSと障害復旧
実在OSSでは、Claude Codeが答えを見ずに過去の不具合を診断する実験を3件行った(第2回)。clickのExp38、urllib3のExp39、urllib3のExp40B・40Cである。3件とも、Claude Codeは上流の修正と同じ根本原因にたどり着いたと報告した。Exp38では、上流の修正がClaude Codeの書いたテスト20件のうち5件に失敗したという。Exp40Cでは、別セッションが2,742ケースのマトリクスで、元の実装の238件の失敗と、上流2.6.2・2.8.0の16件の失敗を、Claude Codeの修正が0件にしたと報告している。上流にも残っていたmulti-member gzipの問題を、修正が解消していた。
ただし制約が大きい。修正は数行から約19行で、小さい。「ブラインド」は部分的で、課題の件名に手がかりがあり、アクセス隔離も保証していない。Exp40では、準備担当が作った隠しテスト用の秘密鍵が私に正しく渡らず、事前に固定した隠しテストを実行できなかった。自律実験の運用の失敗の1つである。
障害復旧は、SIGKILLやクラッシュ点を注入する実験を重ねた(第3回)。Exp31は障害ルール89件に対する実際の発火131回、Exp34は17ポイントのクラッシュ後の再開、Exp36は移行のクラッシュ前後のデータ一致、Exp41は7停止ポイントと外部SIGKILLからの復旧を確かめている。プロセスの強制終了は実際に行った。Exp41、Exp31の1ケース、Exp36の1ケースはSIGKILLで、Exp34はプロセス内からの即時終了(os._exit(137))である。一方、マシンの電源断やOSのクラッシュは再現しておらず、書き込みが失われる場合の挙動は未検証である。クラウドについては、Exp20でセッションがrate_limit_eventのあと「running」のまま進まなくなる停滞を観測したが、原因は確認していない。クラウドセッションを意図的に止めて復旧させる検証はできておらず、停止や再開の公式な手段も、再開操作が有効かどうかも確認していない。
無人実行で残った課題
第4回では、claude -pを日次処理から呼び出す場合を検証した。28ケースを2回ずつ、計56回実行した。実際にClaude Codeを呼んだのは12回で、残りは失敗を再現する擬似CLIである。失敗を期待した50回のうち、終了コードだけの判定が成功としたのは22回だった。これは、頻度ではなく、判定方式の限界を示す数字である。Windowsでは、タイムアウト時に子孫プロセスが残る問題が見つかり、taskkill /T /Fで直した。
無人実行で人間に残る仕事は、成功の定義と後始末の確認だった。終了コード0、テストPASS、報告書の「COMPLETE」は、それぞれ別のものを指している。
クラウド環境で目立った制約
実験の結果とは別に、環境の性質で困ったことがある。
- 希望したブランチ名がハーネスに上書きされ、
claude/<ランダム>になった実験が多かった。 - 別ブランチのコミットは、fetchするまで見えなかった(Exp15)。
- 2本のセッションを並列に動かしたExp21では、起動遅延が約58秒あり、コード作業の重なりは0秒だった。
- クラウドのLinuxで動くコードを、Windowsで統合すると、新しい不具合が出た(Exp21)。
- セッションの停止や再開の手段が見つからなかった(Exp20)。
- セッション内から、費用や残高を取得できなかった。
時間と費用
所要時間は、前述のとおり十数分から1時間強だが、計測方法がそろっていないため、費用との比較には使えない。
金額について確認できたのは、プロモーションクレジットの残高の表示値だけで、実験別の消費額と実際の支払額は確定できていない。Exp30の開始時は約37ドル、Exp40Cの前後で約3ドルと約1ドルだった。これは残高の表示値であり、実験別の消費額でも、実際の支払額でもない。残高の差を、実験別の消費額として計算することはしていない。トークン数は、保存記録に残っていた一部(Exp12のサブエージェントが概算で契約担当約8.1万、実装担当約11万、QA担当約21.8万。Exp28のCodexが約9.6万)だけで、ほとんどの実験では取得できなかった。セッション内からも、実験を起動するAPIからも、トークン数や金額は取得できなかった。
残高が0になったときの挙動は、観測していない。Exp40CとExp41は、制限に当たらなかった。消費額も支払額もトークン数も、実験をまたいで比べられる形では残っていないため、費用対効果は数値では比較できない。
実務でどう使うか
実験で確認したことと、そこから導いた私の推奨を分けて書く。
AIに委任できた作業
| 場面 | 実験から言えること | 区分 |
|---|---|---|
| 仕様が明確な小規模実装 | 短時間で動くものを作った(Exp1、19ほか) | 確認した(報告された値) |
| テストの作成・追加検証 | 修正前に失敗することを確認させると、回帰テストが意味を持った(Exp3、32) | 確認した |
| 不具合の再現と調査 | 実在OSS 3件で上流と同じ原因にたどり着いた。修正は小さく、ブラインドは部分的 | 確認した(範囲は限定) |
| 別セッションによるレビュー | 別セッションのレビューが、開発側の報告になかった欠陥を見つけた(第1回の13組中12組) | 確認した(確率ではない) |
| 一部の障害注入テスト | SIGKILLなどでの強制終了後に再開できることを確認した(Exp31、34、36、41) | 確認した(電源断は未検証) |
実装やテストを任せられたことと、品質保証が済んだことは別である。AI自身のPASS報告のあとで新しい欠陥が見つかった例が繰り返しあり、PASSは判断材料の1つにとどまった。
AIだけで完結させない判断
実験では、本番反映や外部への副作用は扱っていない。次は今回の実験から導いた私の推奨であり、私がこれらをすべて行ったという意味ではない。
- 成功条件・受け入れ基準を決める。
- 検証が十分かどうかを判断する。
- 本番環境への反映を判断する。
- 外部に副作用のある操作を承認する。
- 重大な不一致や、解決していない欠陥への対応を決める。
運用を成立させる仕組み
- 成果物と状態を保存し、中断しても再開できるようにする。
- 実装と評価を別のセッションに分け、役割を分担する。
- レビュー担当に、変更前との差分と、非rootなど必要な実行環境を渡す。
- テストが意図した場所に当たっているかを、発火の記録や修正を外した変異で確かめる。
- 指摘は、誰かが再現してから直す。
- 強制終了後の復旧手順を、テストで確かめる。
- 消費クレジットは、セッションの外で確認する。
実験の限界
結果の評価に関わる制約だけを書く。
- 実験の大半は、n=1の試行で、題材も条件もばらばらである。成功率や再現性は評価していない。
- 開発とレビューは、Exp28のCodexを除き、確認できる範囲で同一モデル系統だった。第三者の人間によるレビューはない。
- 開発側のPASS、所要時間、人間の介入回数は、多くが各セッションの自己申告である。別セッションの再現や、保存コードの読み直しで確かめたのは、一部である。
- 実在OSSの修正は小さく、ブラインドは部分的で、隠しテストは実行できていない。
- 障害復旧は、プロセスの強制終了の範囲で検証した。電源断、OSのクラッシュ、クラウドセッションを意図的に止める検証は行っていない。
- 費用は、残高の表示値しか確認できず、実験別消費額も実際の支払額も確定できていないため、費用対効果は議論できない。
総括
Claude Codeのクラウド環境は、仕様の明確な作業を、短時間で、人手をかけずに進められた。この範囲では、開発者の代わりにかなり動いた。実装だけでなく、テストやレビューも任せられた。しかし、AI自身のテストPASSや修正完了の報告だけでは、完成したとは判断できなかった。別セッションの目で見ると足りない部分が見つかり、それは修正後にも続いた。
今回の観察から見えてきたのは、AIの数を増やすだけでは品質保証に十分ではなく、仕様、実行環境、レビュー条件、テストの検出力を設計する重要性である。ただし、これは独立した比較試験で示したものではない。Exp26とExp28の比較のように、モデル、環境、指示、セッション構成が同時に違い、どの要因が決定的だったかは特定できていない。観察した事実と、私の考察は分けて読んでほしい。
実務上の推奨としては、契約を先に固め、レビュー担当に環境と差分を渡し、テストが意図した場所に当たっていることを確かめる。そして、成功の定義と、本番反映などの判断は、人間が持つ。記録を確認できた39件の範囲で、n=1が大半であり、費用も確定できていない。この推奨は、その範囲に限る。
次に確かめたいのは、独立した契約を使った単独側の再実験、隠しテストを使った診断の再評価、そして残高0のときの挙動である。