On 8 December 2023, EU lawmakers celebrated reaching a deal on the long-awaited Artificial Intelligence (AI) Act. Lead Parliamentarians reassured their colleagues that they had preserved strong protections for human rights, including ruling out biometric mass surveillance (BMS).

Yet despite the lawmakers’ bravado, the AI Act will not ban the vast majority of dangerous BMS practices. Instead, it will introduce – for the first time in the EU – conditions on how to use these systems. Members of the European Parliament (MEPs) and EU Member State ministers will vote on whether they accept the final deal in spring 2024.

The EU is making history – for the wrong reasons

The Reclaim Your Face coalition has long argued that BMS practices are error-prone and risky by design, and have no place in a democratic society. Police and public authorities already have so much information about each of us at their fingertips; they do not need to be able to identify and profile us all of the time, objectifying our faces and bodies at the push of a button.

Yet despite a strong negotiating position from the European Parliament which called to ban most BMS practices, very little survived the AI Act negotiations. Under pressure from law enforcement representatives, the Parliament were cornered into accepting only weak limitations on intrusive BMS practices.

One of the few biometrics safeguards which had apparently survived the negotiations – a restriction on the use of retrospective facial recognition – has since been gutted in subsequent so-called ‘technical’ discussions.

Despite promises the from Spanish representatives in charge of the negotiations that nothing substantive would change after 8 December, this watering-down of protections against retrospective facial recognition is a further letdown in our fight against a BMS society.

What’s in the deal?

Based on what we have seen of the final text, the AI Act is set to be a missed opportunity to protect civil liberties. Our rights to attend a protest, to access reproductive healthcare, or even to sit on a bench could still be jeopardised by pervasive biometric surveillance. Restrictions on the use of live and retrospective facial recognition in the AI Act will be minimal, and will not apply to private companies or administrative authorities.

We are also disappointed that when it comes to so-called ‘emotion recognition’ and biometric categorisation practices, only very limited use cases are banned in the final text, with huge loopholes.

This means that the AI Act will permit many forms of emotion recognition – such as police using AI systems to predict who is or is not telling the truth – despite these systems lacking any credible scientific basis. If adopted in this form, the AI Act will legitimise a practice that throughout history has been linked to eugenics.

Police categorising people in CCTV feeds on the basis of their skin colour is also set to be allowed. It’s hard to see how this could be permissible given that EU law prohibits discrimination – but apparently, when done by a machine, the legislators consider this to be acceptable.

Yet at least one thing had stood out for positive reasons after the final negotiation: the deal would limit post (retrospective) public facial recognition to the pursuit of serious cross-border crimes. Whilst the Reclaim Your Face campaign had called for even stronger rules on this, it would nevertheless have been a significant improvement from the current situation, where EU member states use retrospective facial recognition with abandon.

This would have been a win for the Parliament amid so much ground given up on biometrics. Yet in the time since the final negotiation, pressure from member state governments has seen the Parliament forced to agree to delete the limitation to serious cross-border crimes and to weaken the remaining safeguards [paywalled]. Now, just a vague link to the “threat” of a crime could be enough to justify the use of retrospective facial recognition of public spaces.

Reportedly, the country leading the charge to steamroller our right to be protected from abuses of our biometric data is France. Ahead of the Paris Olympics and Paralympics later this year, France has fought to preserve or expand the powers of the state to eradicate our anonymity in public spaces, and to use opaque and unreliable AI systems to claim to know what we are thinking. The other Member State governments, and the Parliament’s lead negotiators, have failed to stop them.

Under this new law, we will be guilty by algorithm until proven innocent – and the EU will have rubber-stamped biometric mass surveillance. This will give carte blanche to EU countries to roll out more surveillance of our faces and bodies, which in turn will set a chilling global precedent.

EU-Gesetz über Künstliche Intelligenz verfehlt das versprochene Verbot biometrischer Massenüberwachung

Am 8. Dezember 2023 haben die EU-Gesetzgeber eine Einigung über die lange erwartete Verordnung zu Künstlicher Intelligenz (KI-Gesetz / AI Act) gefeiert. Die federführenden Abgeordneten haben ihren Kolleg*innen versichert, dass sie einen starken Schutz von Menschenrechten erreicht hätten, einschließlich dass biometrischen Massenüberwachung ausgeschlossen worden sei.

Doch entgegen der prahlenden Behauptungen der Gesetzgeber*innen, wird das KI-Gesetz die große Mehrheit der gefährlichen biometrischen Überwachungspraktiken nicht verbieten. Stattdessen wird es – zum ersten Mal in der EU – Bedingungen einführen, wie diese Systeme genutzt werden können. Die Mitglieder des Europäischen Parlaments und die Minister*innen der EU-Mitgliedstaaten werden im Frühjahr 2024 darüber abstimmen, ob sie die endgültige Einigung annehmen.

Die EU schreibt Geschichte – aus den falschen Gründen

Das Bündnis „Reclaim Your Face“ erklärt seit langem, dass biometrische Massenüberwachung fehleranfällig und riskant ist und in einer demokratischen Gesellschaft keinen Platz hat. Polizei und Behörden haben bereits Zugriff auf so viele Informationen über jede*n von uns; sie müssen nicht auch noch in der Lage sein, uns jederzeit zu identifizieren, (Bewegungs-)Profile zu erstellen und unsere Gesichter und Körper auf Knopfdruck zu Objekten zu reduzieren.

Doch trotz einer starken Verhandlungsposition des Europäischen Parlaments, das ein Verbot der meisten Praktiken biometrischer Massenüberwachung gefordert hatte, hat im KI-Gesetz davon nur sehr wenig die Verhandlungen überlebt. Das Europäische Parlament hat dem Druck von Vertreter*innen der Strafverfolgungsbehörden nachgegeben und zugelassen, dass es nur schwache Grenzen für die Grundrechtseingriffe durch biometrische Massenüberwachung gibt.

Eine der wenigen Schutzbestimmungen, die offenbar ursprünglich die Verhandlungen überlebt hatten – eine Beschränkung der Verwendung zeitlich nachgelagerter Gesichtserkennung – wurde in den nachfolgenden – vermeintlich “technischen” – Diskussionen wieder ausgehöhlt.

Trotz der Versprechungen der spanischen Verhandlungsführer*innen, dass sich nach dem 8. Dezember nichts Wesentliches ändern würde, ist dieser verwässerte Schutz gegen die rückwirkende Gesichtserkennung eine weitere Enttäuschung in unserem Kampf gegen eine biometrische Überwachungsgesellschaft.

Was steht in der Einigung?

Nach dem was wir vom endgültigen Text einsehen konnten, wird das KI-Gesetz eine verpasste Chance sein, Freiheitsrechte zu schützen. Unser Recht, an einer Demonstration teilzunehmen, Zugang zu reproduktiver Gesundheitsfürsorge zu erhalten oder auch nur auf einer Bank zu sitzen, könnte immer noch durch die allgegenwärtige biometrische Überwachung gefährdet werden. Die Beschränkungen für die Verwendung von Echtzeit- und nachträglicher Gesichtserkennung im KI-Gesetz sind minimal und gelten nicht für private Unternehmen oder Verwaltungsbehörden.

Wir sind auch enttäuscht, dass in Bezug auf die so genannte “Emotionserkennung” und biometrische Kategorisierungsverfahren nur sehr begrenzte Anwendungsfälle im endgültigen Text verboten wurden und große Schlupflöcher übrig bleiben.

Das bedeutet, dass das KI-Gesetz viele Formen der Emotionserkennung zulassen wird – wie z. B. die Verwendung von KI-Systemen durch die Polizei, um vorherzusagen, wer die Wahrheit sagt oder nicht – obwohl diese Systeme keine wissenschaftliche Grundlage haben. Falls es in dieser Form angenommen wird, legitimiert das KI-Gesetz damit eine Praxis, die im Laufe der Geschichte durchgängig mit Eugenik verbunden war.

Die Polizei soll außerdem bei Videoüberwachung berechtigt werden, Menschen anhand ihrer Hautfarbe zu kategorisieren. Es ist schwer vorstellbar, wie das mit EU-Recht vereinbar sein soll, welches Diskriminierung verbietet – aber anscheinend halten die Gesetzgeber*innen das für akzeptabel, wenn es von einer Maschine gemacht wird.

Ein Ergebnis der Trilogverhandlungen war eigentlich positiv aufgefallen: Die Einigung sah vor, die zeitlich nachgelagerte Gesichtserkennung an öffentlichen Plätzen auf die Verfolgung schwerer grenzüberschreitender Straftaten zu beschränken. Die Kampagne Reclaim Your Face hatte zwar noch stärkere Regeln für diesen Bereich gefordert, aber das wäre trotzdem eine erhebliche Verbesserung gegenüber der jetzigen Situation gewesen, in der EU-Mitgliedstaaten retrograde Gesichtserkennung ungehemmt einsetzen.

Das wäre ein Erfolg für das Europäische Parlament gewesen, nachdem es sonst so viel im Bereich Biometrie aufgegeben hat. Doch seit den finalen Verhandlungen im Dezember wurde das Parlament durch den Druck der Mitgliedstaaten gezwungen, die Beschränkung auf schwere grenzüberschreitende Straftaten zu streichen und die verbleibenden Schutzklauseln zu schwächen. Nun könnte ein vager Hinweis auf die “Bedrohung” durch eine Straftat ausreichen, um den Einsatz einer nachträglichen Gesichtserkennung in öffentlichen Räumen zu rechtfertigen.

Berichten zufolge ist die Regierung von Frankreich dafür verantwortlich unser Recht, vor dem Missbrauch unserer biometrischen Daten geschützt zu werden, mit Füßen zu treten. Im Vorfeld der Olympischen Spiele und der Paralympics in Paris in diesem Jahr hat Frankreich dafür gekämpft, die Befugnisse des Staates zu erhalten bzw. zu erweitern, um unsere Anonymität im öffentlichen Raum zu beseitigen. Durch Einsatz von undurchsichtigen und unzuverlässigen KI-Systemen, soll behauptet werden zu wissen, was wir denken. Die Regierungen der anderen Mitgliedstaaten und die federführenden Verhandlungsführer*innen des Parlaments haben darin versagt, das aufzuhalten.

Nach diesem neuen Gesetz gilt für uns alle: Schuldig durch den Algorithmus, bis unsere Unschuld bewiesen ist – und die EU wird biometrische Massenüberwachung durchgewunken haben. Damit wird den EU-Ländern ein Freibrief für die Ausweitung der Überwachung unserer Gesichter und Körper geben, was wiederum weltweit einen erschreckenden Präzedenzfall schaffen wird.