YAMDAS現更新履歴

当ブログはYAMDAS Project の更新履歴ページです。2019年よりはてなブログに移転しました。

先月末にこの記事を見たときは、これは日本の技術系ニュースサイトでも取り上げられるだろうなと思ったのだが、観測範囲が狭いのかそういうのを見かけなかったので、一応紹介しておく。

コーディングアシスタントは、生成 AI のユースケースとして有望視されているが、期待される生産性の向上はほとんどないという話である。

多くの開発者が AI のコーディングアシスタントで生産性が向上すると言っているが、Uplevel 社の研究によると有意な利益は見られず、それどころかGitHub Copilot を使用するとバグが4割以上多く発生したとな。また pull request のサイクルタイムを測定しても、Copilot を使用する開発者に有意な改善は見られなかったとのこと。

じゃあ、AI のコーディングアシスタントに全然意味がないのかというと、開発者の燃え尽き症候群についての調査では、標準時間外に費やした作業時間は Copilot を使用している場合のほうが減少したという。

8月に発表された GitHub の調査によると、今やソフトウェアエンジニア、開発者、プログラマーの97％が AI コーディングアシスタントを使用しているとのことで（ほとんど全員や！）、それにはもちろん生産性向上の期待があるし、コーディングアシスタントを使うことで55％速くコードを書けるようになったという調査結果もあるのだが、Uplevel 社の発表内容はそれに対立するものである。

結局は、コーディングアシスタントを使っても、現状は人間のチェックが必要ということのようだ。記事には、「AI で生成されたコードを理解し、デバッグするのがますます難しくなっており、トラブルシューティングに大量のリソースを要するため、コードを修正するより最初から書き直すほうが楽だったりする」という Gehtsoft の CEO である Ivan Gekht の発言が引用されている。

数行のコードを書くことと、本格的なソフトウェア開発は別物ということですね。およそ一年前に書いた「ソフトウェア開発の真の問題点は、コードを書くことではなく、問題の複雑さの管理にある」という話を思い出しますね。

この記事の最後には、Uplevel 社の研究とかなり異なるコーディングアシスタントへの肯定的な声も紹介されており、使い方次第というのは間違いないようだ。現状では、生成 AI アシスタントはJava のアップグレードといった定型作業の工数節約のほうが効果が大きそうである。

ネタ元はSlashdot。