| 世界初、“100％”AI生成の論文が査読通過 Sakana AIの「The AI Scientist」 が達成 - MSN 世界初、“100％”AI生成の論文が査読通過 Sakana AIの「The AI Scientist」 が達成 MSN （出典：MSN） |
1 すらいむ ★ ：2025/03/12(水) 23:40:51.84 ID:fWk6tUtN
世界初、“100％”AI生成の論文が査読通過 Sakana AIの「The AI Scientist」が達成
Sakana AIは3月12日、AIシステム「The AI Scientist」の改良版「v2」が書いた論文が、AIに関する国際カンファレンス「ICLR 2025」（International Conference on Learning Representations）のワークショップで査読を通過したと発表した。
AI生成の論文が査読をクリアするのは世界初という。
The AI Scientistでは、人間が介入することなく、研究アイデアの立案から実験、論文執筆などを全自動で行う。
今回の論文は、The AI Scientistの改良版である「The AI Scientist-v2」（v2）が生成した。
なおv2の詳細は今後リリース予定。
（以下略、続きはソースでご確認ください）
[ITmedia] 2025年03月12日 15時28分
https://www.itmedia.co.jp/aiplus/articles/2503/12/news168.html
Sakana AIは3月12日、AIシステム「The AI Scientist」の改良版「v2」が書いた論文が、AIに関する国際カンファレンス「ICLR 2025」（International Conference on Learning Representations）のワークショップで査読を通過したと発表した。
AI生成の論文が査読をクリアするのは世界初という。
The AI Scientistでは、人間が介入することなく、研究アイデアの立案から実験、論文執筆などを全自動で行う。
今回の論文は、The AI Scientistの改良版である「The AI Scientist-v2」（v2）が生成した。
なおv2の詳細は今後リリース予定。
（以下略、続きはソースでご確認ください）
[ITmedia] 2025年03月12日 15時28分
https://www.itmedia.co.jp/aiplus/articles/2503/12/news168.html
2 名無しのひみつ ：2025/03/13(木) 00:03:04.04 ID:su/SDXCv
査読って仲間内審査だから。神が審査してるわけじゃないから。
23 名無しのひみつ ：2025/03/13(木) 10:23:53.99 ID:W8m1Ihnx
>>2
神（人間の作ったAI）が全て決めてくれる時代近そうやな
神（人間の作ったAI）が全て決めてくれる時代近そうやな
3 名無しのひみつ ：2025/03/13(木) 02:25:21.41 ID:Y2owR0N6
最近知ったが、文系では査読すらない紀要が業績として評価されるらしい。
文系なら査読なしだからAI生成論文作り放題、業績作り放題だな。
文系なら査読なしだからAI生成論文作り放題、業績作り放題だな。
4 名無しのひみつ ：2025/03/13(木) 02:50:51.64 ID:GZM7r3/R
やっぱりサカナ食べると頭が良くなるんだな
5 名無しのひみつ ：2025/03/13(木) 03:03:12.34 ID:pBjnYTUZ
STAP 細胞も査読通ったわけでしょ
6 名無しのひみつ ：2025/03/13(木) 03:13:00.91 ID:pBjnYTUZ
投稿する論文は完璧でないといけない
査読で完全にチェックしないといけない
みたいな考えは間違いだと思うんだよね
学問分野だけで何千ってあって
題材なら何十万もあるわけで
すべての論文に完全な査読者なんてつけられないから
とりあえず投稿を集めて、ざっくりと選んで掲載
そのなかで有用だと皆が思うものは引用が増えていく
そうやってみんなで選別していく場に過ぎないわけだから
つまり査読が通ることを目指しても意味がない
引用が増えるような論文を生み出せるかどうかが重要なわけで
査読で完全にチェックしないといけない
みたいな考えは間違いだと思うんだよね
学問分野だけで何千ってあって
題材なら何十万もあるわけで
すべての論文に完全な査読者なんてつけられないから
とりあえず投稿を集めて、ざっくりと選んで掲載
そのなかで有用だと皆が思うものは引用が増えていく
そうやってみんなで選別していく場に過ぎないわけだから
つまり査読が通ることを目指しても意味がない
引用が増えるような論文を生み出せるかどうかが重要なわけで
20 名無しのひみつ ：2025/03/13(木) 09:46:46.15 ID:NJRzrrzV
>>6
ほんとこれ
無名雑誌掲載だけど引用数が多い >>> 有名雑誌掲載だけど引用数が少ない
でも実際は有名雑誌に幾つ掲載されたかで研究者は高く評価され出世する
まあ確かに有名雑誌の論文はいいものが多くよく引用されるけど
ほんとこれ
無名雑誌掲載だけど引用数が多い >>> 有名雑誌掲載だけど引用数が少ない
でも実際は有名雑誌に幾つ掲載されたかで研究者は高く評価され出世する
まあ確かに有名雑誌の論文はいいものが多くよく引用されるけど
9 名無しのひみつ ：2025/03/13(木) 03:33:32.32 ID:RVagbXeM
こんなのあるね
https://arxiv.org/abs/2502.14297
汎用人工知能 (AGI) と超知能への大きな一歩は、AI が自律的に研究を行う能力、つまり私たちが人工研究知能 (ARI) と呼ぶ能力です。機械が人間の介入なしに仮説を立て、実験を行い、研究論文を書くことができれば、科学は一変するでしょう。
Sakana は最近、「AI サイエンティスト」を導入し、自律的に研究を行うと主張しました。つまり、私たちが人工研究知能 (ARI) と呼ぶものを達成したと示唆しています。
AI サイエンティストは大きな注目を集めましたが、徹底した独立した評価はまだ行われていません。
AI サイエンティストの評価では、重大な欠点が明らかになりました。
このシステムの文献レビューでは、新規性の評価が不十分で、確立された概念 (確率的勾配降下法のマイクロバッチ処理など) を新規と誤分類することがよくありました。
また、実験の実行にも問題があります。実験の 42% はコーディング エラーが原因で失敗し、その他の実験では欠陥のある結果や誤解を招く結果が
出ました。
コードの変更は最小限で、反復ごとに平均 8% 多い文字数であり、適応性が限られていることを示しています。生成された原稿は裏付けが不十分で、引用の中央値は 5 件、ほとんどが古いものでした (2020 年以降の 34 件のみ)。
図の欠落、重複したセクション、および「結論はここ」などのプレースホルダー テキストなど、構造上のエラーが頻繁に発生しました。
一部の論文には、幻覚的な数値結果が含まれていました。
これらの欠陥にもかかわらず、AI サイエンティストは研究自動化の飛躍的な進歩を表しています。AI サイエンティストは、最小限の人間の入力で完全な研究原稿を生成し、AI 主導の科学に対する期待に挑戦します。多くの査読者は、AI サイエンティストの成果と人間の研究者の成果を区別するのに苦労するかもしれません。
その品質は急いで作成された学部生の論文に似ていますが、そのスピードとコスト効率は前例がなく、3.5 時間の人間の関与で 6 ～ 15 ドルで完全な論文を作成し、従来の研究者をはるかに上回っています。
https://arxiv.org/abs/2502.14297
汎用人工知能 (AGI) と超知能への大きな一歩は、AI が自律的に研究を行う能力、つまり私たちが人工研究知能 (ARI) と呼ぶ能力です。機械が人間の介入なしに仮説を立て、実験を行い、研究論文を書くことができれば、科学は一変するでしょう。
Sakana は最近、「AI サイエンティスト」を導入し、自律的に研究を行うと主張しました。つまり、私たちが人工研究知能 (ARI) と呼ぶものを達成したと示唆しています。
AI サイエンティストは大きな注目を集めましたが、徹底した独立した評価はまだ行われていません。
AI サイエンティストの評価では、重大な欠点が明らかになりました。
このシステムの文献レビューでは、新規性の評価が不十分で、確立された概念 (確率的勾配降下法のマイクロバッチ処理など) を新規と誤分類することがよくありました。
また、実験の実行にも問題があります。実験の 42% はコーディング エラーが原因で失敗し、その他の実験では欠陥のある結果や誤解を招く結果が
出ました。
コードの変更は最小限で、反復ごとに平均 8% 多い文字数であり、適応性が限られていることを示しています。生成された原稿は裏付けが不十分で、引用の中央値は 5 件、ほとんどが古いものでした (2020 年以降の 34 件のみ)。
図の欠落、重複したセクション、および「結論はここ」などのプレースホルダー テキストなど、構造上のエラーが頻繁に発生しました。
一部の論文には、幻覚的な数値結果が含まれていました。
これらの欠陥にもかかわらず、AI サイエンティストは研究自動化の飛躍的な進歩を表しています。AI サイエンティストは、最小限の人間の入力で完全な研究原稿を生成し、AI 主導の科学に対する期待に挑戦します。多くの査読者は、AI サイエンティストの成果と人間の研究者の成果を区別するのに苦労するかもしれません。
その品質は急いで作成された学部生の論文に似ていますが、そのスピードとコスト効率は前例がなく、3.5 時間の人間の関与で 6 ～ 15 ドルで完全な論文を作成し、従来の研究者をはるかに上回っています。
13 名無しのひみつ ：2025/03/13(木) 03:45:20.98 ID:rSp2a1US
https://techcrunch.com/2025/03/12/sakana-claims-its-ai-paper-passed-peer-review-but-its-a-bit-more-nuanced-than-that/
日本のAIスタートアップ企業サカナは、同社のAIが査読付き科学論文を初めて生成したと発表した。この主張は必ずしも事実ではないが、注意すべき点もある。
AIと科学プロセスにおけるその役割をめぐる議論は日増しに激しさを増している。多くの研究者はAIが「共同科学者」として働く準備がまだ整っていないと考えているが、可能性はあると考えている研究者もいるが、まだ初期段階であることを認めている。
サカナは後者の陣営に属する。
同社は、AI Scientist-v2と呼ばれるAIシステムを使用して論文を生成し、その後、長年にわたり定評のあるAIカンファレンスであるICLRのワークショップに提出したと述べた。サカナは、ワークショップの主催者とICLRの指導者が、同社と協力してAI生成の論文を二重盲検法でレビューする実験を行うことに同意したと主張している。
Sakana は、ブリティッシュ コロンビア大学とオックスフォード大学の研究者と協力し、AI が生成した 3 つの論文を前述のワークショップに提出して査読を受けたと述べた。AI Scientist-v2 は、科学的仮説、実験と実験コード、データ分析、視覚化、テキスト、タイトルなど、論文を「エンドツーエンド」で生成したと Sakana は主張している。
「ワークショップの要約と説明を AI に提供することで、研究のアイデアを生み出しました」と Sakana の研究者で創設メンバーの Robert Lange 氏は TechCrunch にメールで語った。「これにより、生成された論文がトピックに沿った適切な提出物であることが保証されました。」
3 つのうち 1 つの論文が ICLR ワークショップに受け入れられた。これは AI モデルのトレーニング手法に批判的な視点を投じた論文である。Sakana は、透明性と ICLR 規約の尊重のために、論文が出版される前に直ちに撤回したと述べた。
日本のAIスタートアップ企業サカナは、同社のAIが査読付き科学論文を初めて生成したと発表した。この主張は必ずしも事実ではないが、注意すべき点もある。
AIと科学プロセスにおけるその役割をめぐる議論は日増しに激しさを増している。多くの研究者はAIが「共同科学者」として働く準備がまだ整っていないと考えているが、可能性はあると考えている研究者もいるが、まだ初期段階であることを認めている。
サカナは後者の陣営に属する。
同社は、AI Scientist-v2と呼ばれるAIシステムを使用して論文を生成し、その後、長年にわたり定評のあるAIカンファレンスであるICLRのワークショップに提出したと述べた。サカナは、ワークショップの主催者とICLRの指導者が、同社と協力してAI生成の論文を二重盲検法でレビューする実験を行うことに同意したと主張している。
Sakana は、ブリティッシュ コロンビア大学とオックスフォード大学の研究者と協力し、AI が生成した 3 つの論文を前述のワークショップに提出して査読を受けたと述べた。AI Scientist-v2 は、科学的仮説、実験と実験コード、データ分析、視覚化、テキスト、タイトルなど、論文を「エンドツーエンド」で生成したと Sakana は主張している。
「ワークショップの要約と説明を AI に提供することで、研究のアイデアを生み出しました」と Sakana の研究者で創設メンバーの Robert Lange 氏は TechCrunch にメールで語った。「これにより、生成された論文がトピックに沿った適切な提出物であることが保証されました。」
3 つのうち 1 つの論文が ICLR ワークショップに受け入れられた。これは AI モデルのトレーニング手法に批判的な視点を投じた論文である。Sakana は、透明性と ICLR 規約の尊重のために、論文が出版される前に直ちに撤回したと述べた。
15 名無しのひみつ ：2025/03/13(木) 03:54:35.00 ID:QoWyp8JS
前のURLのなかの後半
「受理された論文は、ニューラルネットワークを訓練するための新しい有望な方法を紹介するとともに、実証的な課題が残っていることを示しています」とランゲ氏は述べた。「これは、さらなる科学的調査を促す興味深いデータポイントを提供します。」
しかし、この成果は一見するとそれほど印象的ではありません。
ブログ投稿で、サカナは、AI が時折「恥ずかしい」引用エラーを＊たことを認めています。たとえば、ある方法を 1997 年の元の研究ではなく 2016 年の論文に誤って帰属させてしまうなどです。
サカナの論文は、他の査読済み出版物ほど精査されていません。同社は最初の査読後に論文を撤回したため、この論文は追加の「メタレビュー」を受けませんでした。このメタレビューでは、ワークショップの主催者は理論上、論文を拒否できたはずです。
さらに、カンファレンス ワークショップの受理率は、メインの「カンファレンス トラック」の受理率よりも高い傾向にあるという事実があります。これは、サカナがブログ投稿で率直に述べている事実です。同社は、AI で生成された研究はどれも ICLR カンファレンス トラックの出版に関する社内基準を満たしていないと述べた。
アルバータ大学の AI 研究者で助教授の Matthew Guzdial 氏は、Sakana の結果を「少し誤解を招く」と述べた。
「Sakana の人々は、生成された論文の中から論文を選んだ。つまり、論文に採用される可能性があると考える論文を選ぶ際に人間の判断を使ったということだ」と同氏は電子メールで述べた。「このことからわかるのは、人間と AI の組み合わせは効果的であり、AI だけで科学の進歩を生み出せるということではないと思う」。
ロンドン大学キングス カレッジで AI を専門とする研究員 Mike Cook 氏は、ピア レビュー担当者とワークショップの厳しさに疑問を呈した。
「今回のような新しいワークショップは、より若い研究者によってレビューされることが多い」と同氏は TechCrunch に語った。「また、このワークショップが否定的な結果と困難についてであることも注目に値する。これは素晴らしいことだ。私は以前にも同様のワークショップを運営したことがある。しかし、AI に失敗について説得力のある形で書かせるのは間違いなく簡単だ」。
「受理された論文は、ニューラルネットワークを訓練するための新しい有望な方法を紹介するとともに、実証的な課題が残っていることを示しています」とランゲ氏は述べた。「これは、さらなる科学的調査を促す興味深いデータポイントを提供します。」
しかし、この成果は一見するとそれほど印象的ではありません。
ブログ投稿で、サカナは、AI が時折「恥ずかしい」引用エラーを＊たことを認めています。たとえば、ある方法を 1997 年の元の研究ではなく 2016 年の論文に誤って帰属させてしまうなどです。
サカナの論文は、他の査読済み出版物ほど精査されていません。同社は最初の査読後に論文を撤回したため、この論文は追加の「メタレビュー」を受けませんでした。このメタレビューでは、ワークショップの主催者は理論上、論文を拒否できたはずです。
さらに、カンファレンス ワークショップの受理率は、メインの「カンファレンス トラック」の受理率よりも高い傾向にあるという事実があります。これは、サカナがブログ投稿で率直に述べている事実です。同社は、AI で生成された研究はどれも ICLR カンファレンス トラックの出版に関する社内基準を満たしていないと述べた。
アルバータ大学の AI 研究者で助教授の Matthew Guzdial 氏は、Sakana の結果を「少し誤解を招く」と述べた。
「Sakana の人々は、生成された論文の中から論文を選んだ。つまり、論文に採用される可能性があると考える論文を選ぶ際に人間の判断を使ったということだ」と同氏は電子メールで述べた。「このことからわかるのは、人間と AI の組み合わせは効果的であり、AI だけで科学の進歩を生み出せるということではないと思う」。
ロンドン大学キングス カレッジで AI を専門とする研究員 Mike Cook 氏は、ピア レビュー担当者とワークショップの厳しさに疑問を呈した。
「今回のような新しいワークショップは、より若い研究者によってレビューされることが多い」と同氏は TechCrunch に語った。「また、このワークショップが否定的な結果と困難についてであることも注目に値する。これは素晴らしいことだ。私は以前にも同様のワークショップを運営したことがある。しかし、AI に失敗について説得力のある形で書かせるのは間違いなく簡単だ」。
16 名無しのひみつ ：2025/03/13(木) 03:55:44.00 ID:RVagbXeM
「[サカナの] 結果は、AI が実験の設計と実施にどれほど優れているかに関するものか、それとも AI がすでに得意としていることがわかっている人間にアイデアを売り込むのにどれほど優れているかに関するものか、自問する必要がある」とクック氏は述べた。「査読を通過することと、分野に知識を提供することには違いがある」。
サカナは、その功績として、同社の AI が画期的な (あるいは特に斬新な) 科学研究を生み出すことができると主張していない。むしろ、この実験の目的は「AI が生成した研究の質を研究すること」であり、AI が生成した科学に関する「規範」の緊急の必要性を強調することだと同社は述べた。
「AI が生成した科学は、偏見を避けるために、まずそれ自体の価値で判断されるべきかどうかという難しい問題があります」と同社は書いている。「今後、この技術の現状について研究コミュニティと意見交換を続け、将来的にこの技術が査読を通過することだけを目的とする状況に発展し、科学的な査読プロセスの意味を大幅に損なうことがないようにしていきます。」
サカナは、その功績として、同社の AI が画期的な (あるいは特に斬新な) 科学研究を生み出すことができると主張していない。むしろ、この実験の目的は「AI が生成した研究の質を研究すること」であり、AI が生成した科学に関する「規範」の緊急の必要性を強調することだと同社は述べた。
「AI が生成した科学は、偏見を避けるために、まずそれ自体の価値で判断されるべきかどうかという難しい問題があります」と同社は書いている。「今後、この技術の現状について研究コミュニティと意見交換を続け、将来的にこの技術が査読を通過することだけを目的とする状況に発展し、科学的な査読プロセスの意味を大幅に損なうことがないようにしていきます。」
17 名無しのひみつ ：2025/03/13(木) 09:27:08.11 ID:m8knzl2T
AIは無責任
間違ったことを言っても
謝罪の言葉でもかきゃいいんだろ的な感じ
だから、ぱっと見、論文の体裁をなしているけど、中身がないものでも平気で投稿できる
人間の研究者の場合、そんなものを投稿して掲載されて、のちのち中身がないってなったら
研究者としての評判にかかわる
わざわざ時間をかけて論文を書くのに、そんなデメリットのあることをやってられない
つまり、AIと人間の公平な比較にならない
間違ったことを言っても
謝罪の言葉でもかきゃいいんだろ的な感じ
だから、ぱっと見、論文の体裁をなしているけど、中身がないものでも平気で投稿できる
人間の研究者の場合、そんなものを投稿して掲載されて、のちのち中身がないってなったら
研究者としての評判にかかわる
わざわざ時間をかけて論文を書くのに、そんなデメリットのあることをやってられない
つまり、AIと人間の公平な比較にならない
28 名無しのひみつ ：2025/03/13(木) 15:56:46.41 ID:vtiZs+mN
AIの論文をAIに書かせる。
素晴らしく効率的だ。
自分に分析させるんだからなw
素晴らしく効率的だ。
自分に分析させるんだからなw
30 名無しのひみつ ：2025/03/13(木) 21:05:48.39 ID:HWtEzDb5
揚げ足取りしてるうちに全部AIに置き換わるね
この感じだと
この感じだと
31 名無しのひみつ ：2025/03/14(金) 00:40:46.72 ID:hJUtM/L5
AIが進歩して新しい法則なり何なりを見つけても、人類が正否を確かめられるかどうかな問題が…
コメント