Das Potenzial der KI wird in immer mehr Bereichen genutzt, auch in der Programmierung, wo es viele Möglichkeiten gibt, die Produktivität zu steigern und die Arbeit schneller und effizienter zu gestalten.
Kürzlich hat die gemeinnützige Organisation METR (Model Evaluation & Threat Research) untersucht, wie sich der Einsatz von KI-basierten Tools auf die Effizienz von Softwareentwicklern auswirkt. Sie führten eine Studie durch, in der 16 erfahrene Open-Source-Softwareentwickler gebeten wurden, insgesamt 246 einzelne Programmieraufgaben zu lösen, darunter Fehlerbehebungen, die Implementierung neuer Funktionen und andere Aufgaben. Die Experten verwalteten große Codebasen, die sie sehr gut kannten, aber es wurde ihnen immer nach dem Zufallsprinzip erlaubt oder verweigert, die KI-basierte Programmierhilfe zu nutzen. Die Hilfe selbst war meist eine Kombination aus Cursor Pro und Claude 3.5 oder 3.7 Sonnet, wenn sie um KI-basierte Hilfe bitten konnten.
Vor Beginn des Testzeitraums behaupteten die Entwickler zuversichtlich, dass sie mit KI-basierten Tools Aufgaben bis zu 24 % schneller erledigen könnten. Nach Abschluss der Tests waren sie immer noch der Meinung, dass das KI-gestützte Arbeiten 20 % schneller sei als der normale, KI-freie Modus. Die Realität sah ganz anders aus: Die Daten zeigten, dass die Entwickler mit KI nicht schneller, sondern langsamer arbeiteten - um 19 %. Dieses Ergebnis steht nicht nur im Widerspruch zu der von den Entwicklern wahrgenommenen Effizienz, sondern auch zu dem, was versprochen wurde.
Die Forscher vermuten, dass es mehr als einen Grund für die Verlangsamung geben könnte, oder eine Kombination von ihnen. Zum einen sind Entwickler in der Regel viel optimistischer, was den Nutzen von KI angeht, als es die Fähigkeiten der Technologie vermuten lassen. Dies wurde auch dadurch beeinflusst, dass die Tests mit Entwicklern durchgeführt wurden, die mit ihrer eigenen, sehr umfangreichen Codebasis vertraut waren, so dass die KI nur wenig dazu beitragen konnte. Die Komplexität der Projekte stellte ebenfalls eine Herausforderung dar, da der Code oft mehr als eine Million Zeilen umfasste, was eine Herausforderung für die KI darstellt, die sich in der Regel eher durch kleinere, überschaubare Aufgaben auszeichnet, als durch große Projekte zu "blicken". Ein weiteres Problem bestand darin, dass die von der KI vorgeschlagenen Lösungen inkonsistent waren. Die Entwickler akzeptierten weniger als 44 % des von der KI vorgeschlagenen Codes und verbrachten viel Zeit mit der Überprüfung und in vielen Fällen mit der Verbesserung der Empfehlungen. Die KI hatte auch Schwierigkeiten, den impliziten Kontext in komplexen Codezeilen zu verstehen, was zu Missverständnissen und irrelevanten Empfehlungen führte.
Die Untersuchung selbst folgte einer sehr strengen Methodik. Jeder Entwickler musste abschätzen, wie lange die Aufgabe mit und ohne KI dauern würde, dann die Aufgabe wie angewiesen ausführen, den Inhalt des eigenen Displays aufzeichnen und am Ende des Prozesses die für die Aufgabe benötigte Zeit dokumentieren. Um sicherzustellen, dass die Teilnehmer ausreichend beschäftigt waren, erhielten sie einen Stundensatz von 150 Dollar. Die Ergebnisse waren über die verschiedenen Messungen und Analysen hinweg konsistent, und es wurden keine Hinweise auf Anomalien im Experiment gefunden, die die Endergebnisse hätten verfälschen können.
Interessanterweise ergaben die Rohmessungen, dass die Entwickler beim Einsatz von KI langsamer waren, aber die Unterstützung durch KI als weniger anstrengend empfanden, weshalb immer mehr Forscher und Entwickler KI-basierte Assistenten bei ihrer Arbeit einsetzen werden.
