AI Package Hallucination Angriffe nehmen zu

ChatGPT und Co. erfinden oft Software Dependencies die gar nicht existieren - Hacker nehmen diese Einladung dankend an und programmieren diese nach, incl. Malware Backdoor. Das Problem basiert auf sog. “AI Package Hallucination” und betrifft LLMs wie ChatGPT, die auf Grund Ihrer Art zu antworten oft auch ursprünglich nicht existierende Softwarepakete empfehlen. Ein Bericht von Lasso Security zeigt, dass teilweise 30 Tausend Downloads auf ein hallzuniertes Software Paket (huggingface-cli statt huggingface-hub) existierten, das es so nie hätte geben dürfen.

Deren initiale Untersuchung, die sich auf GPT-3.5 Turbo konzentrierte, offenbarte, dass fast 30% der Antworten des Modells mindestens ein halluziniertes Paket beinhalteten. Angespornt durch diese Ergebnisse, hat der Forscher die Studie erweitert, um die Persistenz und Skalierbarkeit dieses Phänomens zu erforschen. Die neue Untersuchung umfasste 2500 Fragen in fünf Programmiersprachen und testete vier verschiedene Modelle: GPT-3.5-Turbo, GPT-4, Gemini Pro (Bard) und Coral (Cohere).

Die Forschungsergebnisse sind besorgniserregend: GPT-4 verzeichnete 24,2% Halluzinationen, GPT-3.5 22,2%, Gemini schockierende 64,5%, und Cohere 29,1%. Besonders in den Programmiersprachen Go und .NET wurden viele halluzinierte Pakete identifiziert. Es wurde festgestellt, dass, obwohl viele dieser Pakete nicht existent waren, sie doch ein enormes Potenzial für Missbrauch darstellen.

Findige Hacker nutzen das aus, indem Sie genau solche Dependencies erstellen und mit Malware ausstatten, die dann in Form eines Supply Chain Angriffs in grosse Software Pakete gelangt, wie letztens ein Fall auf Github mit 170.000 Downloads zeigte.