Econometrica・QJE・American Economic Review・Journal of Political Economy・Review of Economic Studies。2000年代以降に載った論文のうち、公開データとコードが揃う4,452本を、AIワークフローが1本残らず検算した。「不一致あり」と判定されたのは76.4%。だがこの数字を分解すると、本当に見るべき場所は別にあった。
「不一致」3,460本の内訳(四捨五入で説明できる範囲35.6% vs 有効数字の先頭からズレる本質的な不一致64.4%)、たった1件のデータを除くだけで結論の推定値が2倍以上動いた論文が過半数(58.7%)という、見出しより重い数字、そしてAIが計算を最大24,000倍高速化し923本に見落とされた分析を追加した「建設的な側面」までを確認する。
これまで経済学の「再現性危機」は、たいてい1件ずつ暴かれてきた。Reinhart & Rogoff(2010)の政府債務と経済成長の関係を示した論文には、Excelの範囲指定ミスが1件見つかった。Ariely & Wertenbroch(2002)の「先延ばし対策」の定番実験は、2026年に元データの改ざんが発覚して撤回された。いずれも、誰か1人が偶然、あるいは執念で見つけた「1本の不一致」だった。
Schwartz・Andrews・Shapiro(2026, NBER Working Paper No. 35782)は、この作業をAIに全数でやらせた。対象は、RePEcランキングで最上位の総合誌5誌——Econometrica・Quarterly Journal of Economics・American Economic Review・Journal of Political Economy・Review of Economic Studies——に掲載され、公開レプリケーションパッケージ(データとコード一式)が入手できる論文、合計4,452本。AIワークフローが元の計算をすべて再実行し、公表値と食い違えばそれを「不一致」として記録し、さらに敵対的な役割を与えた別のLLMに「その不一致を覆せるか」を検証させたうえで確定する、という2段階の品質管理を経ている。
結果——4,452本のうち3,460本、約78%の論文または付録で、何らかの不一致が検出された。全体の11.2%は完全に再現でき、12.4%は元データが非開示と明記されていて再現を試みられなかった(このうち1.3%は、コードやログを見るだけでも不一致が窺えた)。残りの76.4%が「完全には再現できなかった」論文で、不一致が最初に現れる場所は要旨3.1%・序論12.9%・本文54.0%・付録6.4%と、多くは本文の計算過程に埋まっていた。
ここで「8割に不一致」という数字だけを見て終わると、この論文の一番大事な部分を読み落とす。「不一致」は「間違い」と同義ではない。丸め誤差から結論を覆す誤りまで、中身は一枚岩ではないからだ。
研究チームは、計算が公表値と食い違った3,166本について、その不一致が「有効数字の何桁目」で最初に生じるかを分類した。これが、見出しの数字を読み解くための核心のデータだ。
35.6%は、印刷された最後の桁の±1.0以内——四捨五入や切り捨てで説明がつく範囲に収まる。ここまでなら「不一致」という言葉は大げさに聞こえるかもしれない。だが残りの64.4%は、それより深い、あるいはそれより手前の桁でズレている。24.9%は公表値の最初の有効数字そのもので食い違い、25.1%が2桁目、10.5%が3桁目、3.9%が3桁目より先で食い違う。つまり不一致と判定された論文のおよそ4本に1本は、小数点以下の丸めではなく、数字の「頭」からもう違っている。
この分解を踏まえると、「4,452本の78%に不一致」という見出しは、実態より強く聞こえる部分と、実態を正しく捉えている部分の両方を含んでいる。強く聞こえるのは、不一致の3分の1超が丸めの範囲だから。実態を正しく——むしろ過小に——捉えているのは、残る4分の1が、読者が結論を読み取るときにまさに見ている「最初の数字」で食い違っているからだ。
不一致の桁数分解よりも、この論文が突きつける数字はもう一つある。「不一致があるかどうか」ではなく、「その結論はどれだけ脆いか」を問う感度分析だ。研究チームは、独立した単位(観測やクラスタ)にもとづく推論手法を使っている1,908本について、Giordano・Meager・Broderick(2026)の手法で「その点推定値に最も影響を与えている5件のデータ」を特定し、それぞれを1件だけデータから除いて計算し直した。
公表値がゼロでない1,641本に絞って見ると、たった1件のデータ点を除くだけで、点推定値が100%以上——符号が変わりうる規模で——変化した論文は963本、実に58.7%にのぼった。しかもそのうち512本は、公表値が有効数字2桁以上で印字されており、単なる小さい数字の丸め問題では説明できない。逆に、1件を除いても変化が1%未満に収まった「頑健」な論文は、わずか1.7%だった。
見出しの「78%に不一致」より、この58.7%の方が実務上は重い。不一致は「計算をやり直せば直せる」問題だが、1点で結論が変わる論文は、そもそも報告された点推定値そのものが、5件足らずのデータの偏りに乗って立っている——たとえ計算に誤りが一つもなくても。
ここまでの数字は、AIが経済学の弱点を暴いた話に見える。だが同じワークフローは、計算を速く・正確にし、著者が気づかなかった追加分析まで提案していた。Ariely論文の撤回のような「意図的な改ざん」の話とは違う——今回見つかったのは、誰も悪意を持って作ったわけではない、単に見えていなかった不一致の"規模"だ。
数値最適化・積分・シミュレーションを含む1,781本のうち、496本(27.9%)で計算時間を10倍以上短縮できた。Lee(2026)のブートストラップ計算は、ループをベクトル化しただけで公表値と全く同じ結果のまま約440倍高速化。Akcigit et al.(2025)の7パラメータ較正は、数値探索の代わりに閉形式の解を見つけ出し、区間演算でその解の一意性を証明したうえで約24,000倍速く計算できた。
審査対象4,418本のうち923本(20.9%)に、元論文の前提を変えない拡張分析を提案。Carrera et al.(2022)のジム通いコミットメント契約研究では、元論文が示した福利損失$18.69に、95%信頼区間[$12.75, $23.99]をブートストラップで追加した——著者自身は定量化していなかった不確実性だ。
100本の論文を、2つのモデル(Claude Opus 5 / Claude Fable 5.1)にそれぞれ10回ずつ、条件を変えて読ませる実験も行われた。論文だけを読んだ場合より、著者らの再現結果まで併せて見せた場合の方が、「結論は正しいか」という判定は10回読ませても88.6%/89.1%の論文で一致した。AIの判断も、検算という土台があるほど安定するという結果だ。
なお論文の脚注には、著者の一人SchwartzがこのプロジェクトでAnthropicの契約社員として作業したこと、結果と見解はAnthropicの承認を得たものではないこと、そしてLLM自体が分析と執筆に使われたことが明記されている。
Reinhart-Rogoffの表計算ミスも、Arielyの改ざんも、見つかるまでは「見えないコスト」だった。誰かが偶然、その1本を開いて検算するまで、それは公表された数字として学界に流通し続けた。この研究が示したのは、その"1本ずつ"の作業をAIが全数でやれる時代になったということだ。76.4%という数字は怖ろしく見えるが、その大半は丸めや小さな仕様差であり、経済学の営みそのものが崩れているわけではない——むしろ、これまで見えなかった不一致の総量が、初めて数え上げられたということだ。
それでも、この記事で拾った二つの数字は覚えておく価値がある。不一致のうち4分の1は先頭の桁からズレていたこと、そして感度分析ができた論文の過半数(58.7%)で、たった1件のデータが結論の重みを支えていたこと。前者は「検算すれば直せる」問題だが、後者は「そもそも何を根拠に主張していたか」という、もう一段深い脆さの問題だ。研究チーム自身も、これは評価ではなく「計算過程の点検」だと位置づけており、著者を断罪する記事ではない。
78%という数字は見出しになるが、58.7%という数字の方が、経済学という営みにとっては本質的だった。不正でも改ざんでもない——ただ、たった数件のデータの上に、多くの結論が思われていたより軽く乗っていた、という話だ。
本記事の要約・引用元。
連載の主要記事を1冊に再構成し、書き下ろしを加えたKindle本です。数字では測りにくい豊かさを、所得・時間・関係・自由の視点から読み直します。
Amazonのアソシエイトとして、meclGGは適格販売により収入を得ています。