Am 29. Mai 2020 musste die australische Regierung umgerechnet über 430 Millionen Euro an Australierinnen und Australier mit niedrigem Einkommen zahlen. Sie hatte diese zuvor fälschlicherweise beschuldigt, überhöhte Sozialleistungen erhalten zu haben.
Vier Jahre zuvor hatte ein von Services Australia eingerichtetes KI-System im Rahmen des sogenannten Robodebt-Skandals einen Algorithmus verwendet. Er sollte das selbst angegebene Einkommen von Einzelpersonen mit ihrem von einem Algorithmus geschätzten Einkommen abgleichen. Wenn der Algorithmus eine Diskrepanz feststellte, wurde eine automatisch erstellte Zahlungsaufforderung an die betreffende Person geschickt, ohne Prüfung durch einen Menschen. Leider waren Hunderttausende dieser Mitteilungen falsch berechnet worden, was viele Betroffene schockierte und die Regierung am Ende teuer zu stehen kam.
Das „Robodebt“-System verstieß nicht nur gegen geltendes Recht, sondern auch gegen die Grundprinzipien, die den Kern von KI ausmachen. So wussten die beschuldigten Personen nicht darüber Bescheid, dass ein Algorithmus verwendet wurde, und konnten daher den Bescheid nicht bewerten. Außerdem war ihnen nicht bekannt, welche Daten der Algorithmus verwendet hatte, um zu seiner Entscheidung zu gelangen, wie er die Daten gesammelt hatte oder welche Kriterien er angewendet hatte. Mit anderen Worten: Die Menschen waren gezwungen, ihre Unschuld zu beweisen, ohne Zugriff auf die Daten zu haben, die der Algorithmus für seine Entscheidung genutzt hatte.