{"id":4797,"date":"2019-10-30T11:34:12","date_gmt":"2019-10-30T10:34:12","guid":{"rendered":"https:\/\/www.cr-online.de\/blog\/?p=4797"},"modified":"2019-11-06T14:24:14","modified_gmt":"2019-11-06T13:24:14","slug":"nicht-zu-begruessen-der-bericht-der-datenethikkommission-teil-ii","status":"publish","type":"post","link":"https:\/\/www.cr-online.de\/blog\/2019\/10\/30\/nicht-zu-begruessen-der-bericht-der-datenethikkommission-teil-ii\/","title":{"rendered":"Nicht zu begr\u00fc\u00dfen: Der Bericht der Datenethikkommission  &#8211; Teil II"},"content":{"rendered":"<h2>EUVAS:\u00a0 Warum der allgemeine Rechtsrahmen zu Algorithmen rechtsdogmatisch die Grundpfeiler unserer Demokratie gef\u00e4hrdet<\/h2>\n<p>Die Dogmatik des Datenschutzes ist individualrechtlich. Das \u201eRecht auf Privatleben\u201c und das \u201eRecht auf informationelle Selbstbestimmung\u201c stehen im Mittelpunkt. Die <em>Datenethikkommission<\/em> (DEK)\u00a0will diesen Ansatz fortschreiben, indem sie ein \u201eRecht auf digitale Selbstbestimmung\u201c erfindet. Dies f\u00fchrt am Ende dazu, dass sie den Wald vor lauter B\u00e4umen nicht mehr sieht. Auf welche gesellschaftlich-ethischen und rechtlichen Grunds\u00e4tze sich die DEK st\u00fctzt, ist insbesondere im Hinblick auf die Gemeinwohlorientierung unklar. Aus der Summe individualrechtlicher Anspr\u00fcche allein lassen sich Werte des Gemeinwohls jedenfalls nicht ableiten.<\/p>\n<p>Die DEK st\u00fctzt sich dar\u00fcber hinaus auf empirisch nicht best\u00e4tigte Hypothesen und folgt daher eher dem Narrativ politischer Fiktionen als wissenschaftlichen Erkenntnissen. Dies gilt etwa f\u00fcr die vermeintliche Manipulation der US-Wahlen 2016 durch die Nutzung eines Ansatzes, den <em>Cambridge Analytica<\/em> \u201ePsychometrics\u201c nannte.<\/p>\n<p>&nbsp;<\/p>\n<p><a href=\"https:\/\/www.cr-online.de\/blog\/wp-content\/uploads\/2019\/10\/Tweet-3.png\"><img loading=\"lazy\" class=\"alignnone size-medium wp-image-4798\" src=\"https:\/\/www.cr-online.de\/blog\/wp-content\/uploads\/2019\/10\/Tweet-3-300x144.png\" alt=\"\" width=\"300\" height=\"144\" srcset=\"https:\/\/www.cr-online.de\/blog\/wp-content\/uploads\/2019\/10\/Tweet-3-300x144.png 300w, https:\/\/www.cr-online.de\/blog\/wp-content\/uploads\/2019\/10\/Tweet-3-768x370.png 768w, https:\/\/www.cr-online.de\/blog\/wp-content\/uploads\/2019\/10\/Tweet-3-1024x493.png 1024w, https:\/\/www.cr-online.de\/blog\/wp-content\/uploads\/2019\/10\/Tweet-3.png 1188w\" sizes=\"(max-width: 300px) 100vw, 300px\" \/><\/a><\/p>\n<p>Link:\u00a0<a href=\"https:\/\/twitter.com\/lopalasi\/status\/1188569483293741058\">https:\/\/twitter.com\/lopalasi\/status\/1188569483293741058<\/a><\/p>\n<p>&nbsp;<\/p>\n<p>Die DEK gibt eine ganze Reihe von rechtlichen Empfehlungen ab, ohne zuvor den Regelungsbedarf und die ethischen Grunds\u00e4tze, Regeln und Begr\u00fcndungen ermittelt zu haben. In <a href=\"https:\/\/www.cr-online.de\/blog\/2019\/10\/29\/empfehlungen-der-datenethikkommission-nichts-zu-begruessen-teil-i\/\">Teil I dieses Blogbeitrags<\/a> wurde bereits erl\u00e4utert, dass die DEK die Natur und Effekte algorithmischer Systeme verkennt und warum die vorgeschlagenen Regelungsans\u00e4tze aufgrund ihrer ethischen Inhaltsleere methodologisch nicht angemessen sind. Im Folgenden wird aufgezeigt, welche verheerenden Folgen sich rechtsdogmatisch ergeben, wenn Regelungen eher technik- als ethikgetrieben sind.<\/p>\n<p>&nbsp;<\/p>\n<p><strong>1. Technikbasierte Prinzipien und die Gefahr der Willk\u00fcr<\/strong><\/p>\n<p>Die Aufgabe der Ethik ist es, Prinzipien und Verfahren f\u00fcr die Frage zu empfehlen, wie sich der Mensch in bestimmten Situationen verhalten soll. Aus diesem Grunde ist die Argumentation der DEK inkonsistent. Einerseits vertritt sie richtigerweise (!), dass es nur und immer Menschen sind, die entscheiden und gegebenenfalls auch diskriminieren &#8211; auch wenn sie dies mit Hilfe von Technologien machen. Andererseits fordert sie allgemeine technische Prinzipien f\u00fcr Algorithmen in Form einer Verordnung (EUVAS), als k\u00f6nnte die technische Regulierung von Algorithmen doch auf einmal die Regulierung menschlichen Verhaltens ersetzen.<\/p>\n<p>&nbsp;<\/p>\n<p><strong>Kritikw\u00fcrdiges Kritikalit\u00e4tsmodell<\/strong><\/p>\n<p>Das Fehlen ethischer Grunds\u00e4tze macht die aufgestellten technische Forderungen wirkungslos.<\/p>\n<p>&nbsp;<\/p>\n<p><strong>a) Fehlender Kontext<\/strong><\/p>\n<p>Im Gegensatz zu ethischen Prinzipien lassen sich technische Prinzipien nicht \u00fcber alle Kontexte hinweg integrieren. Das zeigt sich eindr\u00fccklich bei dem vorgeschlagenen Kritikalit\u00e4tsmodell: das <span style=\"text-decoration: underline;\">zweidimensionale Pyramidenmodell<\/span> besteht aus f\u00fcnf Risikostufen. Auf der h\u00f6chsten Stufe soll die Technologie sogar verboten werden. Das Format bildet aber nicht die Komplexit\u00e4t der Governance algorithmischer Systeme ab. Ohne ethische Bewertungsma\u00dfst\u00e4be sagt dieses Modell letztlich nichts aus:<\/p>\n<ul>\n<li>Art der Risiken:\u00a0 Die Risiken f\u00fcr das Individuum sind oft nicht deckungsgleich mit den Risiken f\u00fcr die Gesellschaft.<\/li>\n<li>Nicht nur zwei Dimensionen:\u00a0 Die notwendigen Abw\u00e4gungen und verschiedenen Risiken kann man in solch einer zweidimensionalen Matrix nicht abbilden.<\/li>\n<li>Optimierbarkeit:\u00a0 Dar\u00fcber hinaus k\u00f6nnen algorithmische Systeme nur im Hinblick auf einen bestimmten Wert optimieren. Die <a href=\"https:\/\/people.mpi-sws.org\/~gummadi\/\">Forschung von Krishna Gummadi<\/a> hat gezeigt, dass es keinen Algorithmus gibt, der verschiedenen Gerechtigkeitsvorstellungen und Logiken gen\u00fcgen kann.<\/li>\n<\/ul>\n<p>&nbsp;<\/p>\n<p><strong>b) Massive Ausweitung auf nicht-algorithmische Aspekte <\/strong><\/p>\n<p>Governance sollte vielmehr die gesamten Policy-Ma\u00dfnahmen f\u00fcr eine bestimmte T\u00e4tigkeit in Betracht ziehen, in den das algorithmische System eingebettet ist. Diese sind aber nicht algorithmischer Natur. Anstelle einer holistischen Betrachtung, w\u00fcrde der von der DEK vorgeschlagene technische grundsatzlose Ansatz entweder nur einen Teilaspekt beleuchten -und w\u00e4re somit wirkungslos. Oder er w\u00fcrde sich massiv auf nicht-technische Prozesse ausweiten. Durch die Hintert\u00fcr w\u00fcrde das Modell den bisher geltenden Regeln und Gesetzen f\u00fcr alle m\u00f6glichen wirtschaftlichen, kommunikativen, administrativen (etc., etc.) Vorg\u00e4nge eine neue Logik auferlegen.<\/p>\n<p>&nbsp;<\/p>\n<p><strong>c) Ethische Scheuklappen<\/strong><\/p>\n<p>Dar\u00fcber hinaus lenkt der Kritikalit\u00e4tsansatz von der Frage nach den tats\u00e4chlichen ethischen Werten ab, die als Kriterien f\u00fcr eine Pr\u00fcfung gelten sollen. Durch eine simplifizierte Darstellung der Dimensionen von Risiken drohen Scheuklappen f\u00fcr eine gesamtethische Betrachtung. Durch die vorgelegte Matrix wird eine unsystematische, reduzierte Betrachtung legitimiert, die T\u00fcr und Tor f\u00fcr Missbrauch durch die Modellanwender \u00f6ffnet.<\/p>\n<p>Es bleiben auf ethischer Ebene jede Menge offener Fragen, die aber beantwortet werden m\u00fcssten, bevor solch ein Modell dem Normgeber empfohlen werden kann:<\/p>\n<ul>\n<li><span style=\"text-decoration: underline;\">Rechtsg\u00fcter:<\/span>\u00a0 Welches sind die individuellen und welches die kollektiven Rechtsg\u00fcter, die zu sch\u00fctzen sind?<\/li>\n<li><span style=\"text-decoration: underline;\">Allgemeine Risiken:<\/span>\u00a0 Gibt es allgemeine Risiken, die quer \u00fcber alle Sektoren in der Gesellschaft abstrahiert werden k\u00f6nnen? Welche w\u00e4ren diese?<\/li>\n<li><span style=\"text-decoration: underline;\">Skalierung:<\/span>\u00a0 Wie k\u00f6nnen ethische Prinzipien in einer Skala von 1 bis 5 quantifiziert werden?<\/li>\n<li><span style=\"text-decoration: underline;\">Methodik:<\/span>\u00a0 Welche Grenzen gibt es zu dieser Methode?<\/li>\n<li><span style=\"text-decoration: underline;\">Anwendung:<\/span>\u00a0 Wie k\u00f6nnen verschiedene Prinzipien in der Pyramide nebeneinander quantifiziert und bewertet werden?<\/li>\n<li><span style=\"text-decoration: underline;\">Zielkonflikte:<\/span>\u00a0 Welche Prinzipien werden auf Kosten von welchen anderen Prinzipen eingeschr\u00e4nkt?<\/li>\n<\/ul>\n<p>&nbsp;<\/p>\n<p><strong>Transparenz ist kein Ersatz f\u00fcr Kontrollma\u00dfnahmen<\/strong><\/p>\n<p>Aus ethischer Sicht ist das konstante Fordern nach Transparenz f\u00fcr Aufsichtsbeh\u00f6rden zwar ein notwendiger Schritt, verlangt gleichzeitig jedoch eine Definition von Transparenz: die Logik des Systems allein verr\u00e4t noch nichts \u00fcber die politischen Effekte des Systems.<\/p>\n<p>Ein Scoring Modell sagt wenig \u00fcber den Policy-Kontext, in dem das Modell genutzt wird:<\/p>\n<ul>\n<li>Ab welchen Grenzwerten werden welche Konditionen angeboten?<\/li>\n<li>Wird Menschen mit sehr schlechten Scores ein Kredit verweigert?<\/li>\n<li>Oder bekommen sie vielmehr einen Kredit mit schlechten Konditionen, sodass die Enteignungsf\u00e4lle in die H\u00f6he getrieben werden?<\/li>\n<\/ul>\n<p>Zudem bleiben die weiteren Ma\u00dfnahmen und Schritte, mit denen die Aufsicht eine effiziente Kontrolle vollziehen soll, unklar. Transparenz ist kein Prinzip, es ist ein Mittel, um die Erf\u00fcllung eines bestimmten Prinzips oder Verfahrens zu kontrollieren. Die sozialen Effekte algorithmischer Systeme k\u00f6nnen nicht allein durch Transparenz kontrolliert werden. Hierf\u00fcr bedarf es weiterer Ma\u00dfnahmen.<\/p>\n<p>In dem Bericht der DEK ist Transparenz ein reiner Ersatz f\u00fcr die Entwicklung angemessener Governance- und Aufsichtsstrukturen und Verfahren. Mit Transparenz wird am Ende Verantwortung dorthin transferiert, wo die Informationen nicht verstanden werden und wo sie auch nicht hingeh\u00f6ren: beim Individuum oder beim Verbraucher. Eine Teilverantwortung durch Transparenz auf Informationsempf\u00e4nger zu transferieren, ist aber nur legitim, wenn die Informationsempf\u00e4nger tats\u00e4chlich die komplexe Information zu verstehen.<\/p>\n<p>&nbsp;<\/p>\n<p><strong>2. Gesetz als Architektur: das F\u00e4llen von rechtlichen Tr\u00e4gerw\u00e4nden aus dekorativen Zwecken.<\/strong><\/p>\n<p>Durch Instrumente wie das Kritikalit\u00e4ts-Modell oder allgemeine Anforderungen an Algorithmen, die im Vorschlag einer \u201eEU-Verordnung zu Algorithmischen Systemen\u201c (EUVAS) gipfeln, werden algorithmischen Formeln kontextlos technische Anforderungen und Regelungstechniken \u00fcbergest\u00fclpt. Dies soll sich dar\u00fcber hinaus auf die gesamte Governance der Systeme auswirken &#8211; somit auch auf das, was nichts mit der Technik zu tun hat und ganz sicher nicht mit technikorientierten Ans\u00e4tzen geregelt werden kann.<\/p>\n<p>&nbsp;<\/p>\n<p><strong>\u00dcberformung aller Rechtsdisziplinen. Oder der Abri\u00df rechtlicher Tr\u00e4gerw\u00e4nde aus dekorativen Gr\u00fcnden<\/strong><\/p>\n<p>Im Grunde w\u00fcrde dem manuellen oder maschinellen Handeln von Menschen, die algorithmische Systeme nutzen, durch den risikobasierten Ansatz eine zus\u00e4tzliche, technikorientierte Rechtslogik auferlegt, die sich quer \u00fcber alle bestehenden Rechtsgebiete legen w\u00fcrde.<\/p>\n<p>Dies w\u00e4re undemokratisch, weil Rechtsprinzipien, die wie Tr\u00e4gerw\u00e4nde verschiedener Rechtsgebiete sektorale Kontextualisierung erm\u00f6glichen, durch EUVAS ins Wanken gebracht w\u00fcrden. Eine solche querschnittliche Regulierung w\u00fcrde zu zahlreichen Widerspr\u00fcchen und Kollisionen innerhalb unseres Rechtssystems f\u00fchren, wie es heute schon zum Teil durch das Datenschutzrecht geschieht. Eine schutzgut-entkoppelte Regulierung algorithmischer Datenverarbeitungen w\u00fcrde wie Mehltau die m\u00fchsam erarbeiteten Schutzkonzeptionen anderer Rechtsgebiete \u00fcberlagern. Datenschutz ist Vorsorgerecht (&#8222;Vorfeldschutz&#8220;). Mit EUVAS w\u00fcrde neben den Datenschutz ein weiterer Vorfeldschutz etabliert. Die Regelungstechniken verschiedener Rechtsgebiete w\u00fcrden durch einen weiteren pr\u00e4ventiven Ansatz enorm verkompliziert, wenn nicht sogar ausgehebelt.<\/p>\n<p>Dies w\u00fcrde zum Beispiel auch f\u00fcr den zivilrechtlichen Deliktsbereich gelten. Mit dem vorgeschlagenen risikobasierten Ansatz gehen Beweislastumkehrungen und letztlich die Abkehr vom auch im Deliktsrecht verankerten Grundsatz \u201e<em>in dubio pro reo<\/em>\u201c einher.<\/p>\n<p>&nbsp;<\/p>\n<p><strong>Der risikobasierte Ansatz: Im Zweifel f\u00fcr den Kl\u00e4ger<\/strong><\/p>\n<p>Wir w\u00fcrden ein Rechtssystem kreieren, in dem Menschen zun\u00e4chst ihre guten Absichten nachweisen m\u00fcssen, bevor sie mit Technologie agieren d\u00fcrfen \u2013 und da reden wir nicht nur \u00fcber gro\u00dfe Konzerne. Heute bearbeiten und nutzen viele Individuen komplexe Algorithmen. Ein pr\u00e4ventiver Nachweis der Rechtschaffenheit ist die R\u00fcckkehr zu der pr\u00e4konstitutionalistischen Auffassung von hoheitlicher Gewalt aus dem Mittelalter. Vor dem Konstitutionalismus wurden Staaten als Sittenw\u00e4chter legitimiert: der gute Staat konnte nur durch moralische B\u00fcrger existieren. B\u00fcrger hatten deswegen zun\u00e4chst Pflichten und daraus ergaben sich ein paar Rechte. Dieser Legitimationsnarrativ wurde durch den Konstitutionalismus umgekehrt: Der Staat wurde dadurch legitimiert, dass dieser die Grundrechte ihrer B\u00fcrger zu sch\u00fctzen hatte. Im Zweifel waren Demokratien die politische Form, \u201edie sogar bei einer Republik von Teufeln\u201c &#8211; so\u00a0das Diktum <em>Kants <\/em>&#8211; funktioniere. Und eine der konstitutiven S\u00e4ulen bestand daraus, dass B\u00fcrger nicht nachweisen mussten, dass sie gute Absichten hatten.<\/p>\n<p>&nbsp;<\/p>\n<p><strong>Kategorienfehler. Grundrechte gibt es nur f\u00fcr Menschen<\/strong><\/p>\n<p>In dem DEK-Bericht wird unterstellt, dass algorithmische Systeme und Daten allgemeinen rechtlichen Vorgaben unterworfen werden k\u00f6nnen. Das ist so, als w\u00fcrde man versuchen, Infrastruktur einerseits und kommerzielle Dienstleistungen andererseits mit denselben Bewertungskriterien zu erfassen. Das ist ein fundamentaler Kategorienfehler. Individuen k\u00f6nnen nicht fundamentalrechtlich gesch\u00fctzt werden, indem Informationen so behandelt werden, als w\u00e4ren sie Rechtssubjekte. Grundrechte gelten f\u00fcr Menschen. Sie sollten nicht f\u00fcr das gelten, was Menschen wissen k\u00f6nnen: staatliche Abwehrrechte gegen Wissen \u2013 das w\u00e4re die Schubumkehr der Grundrechte und zugleich ihr Ende als Fundament unserer Demokratie. Grundrechte erfassen alle Lebensdimensionen, und zwar in erster Linie als Abwehrrechte gegen staatliches Handeln. In ihrer zivilrechtlichen Dimension sind sie wegen ihrer gegenseitigen Konkurrenz noch komplexer und schwieriger zu fassen. Ob in einem Bus, in einem Schiff, auf der Stra\u00dfe oder online. Sie h\u00e4ngen nicht von Medium ab. Algorithmische Systeme sind extrem kontext- und anwendungsabh\u00e4ngig. Die sozialen Konflikte, die sie amplifizieren oder verursachen k\u00f6nnen, werden nicht durch Technik gel\u00f6st.<\/p>\n<p>&nbsp;<\/p>\n<p><strong>Aus der Vergangenheit lernen<\/strong><\/p>\n<p>Einst wurde erwartet, die Waschmaschine w\u00fcrde Frauen im Haushalt entlasten und dadurch zu mehr Frauen in der Arbeitswelt f\u00fchren. Das l\u00e4sst sich heute leugnen. Allerdings verbesserten sich mit der Waschmaschine die Sauberkeitsstandards im Haushalt. Mehr Frauen kamen deswegen aber nicht auf den Arbeitsmarkt. Denn die seinerzeitigen Gesetze und die damalige soziale Stellung der Frau in der Gesellschaft errichteten noch immer zu hohe H\u00fcrden f\u00fcr Frauen: ihre Ehem\u00e4nner mussten eine nicht-h\u00e4usliche Arbeit genehmigen. Da war auch die Waschmaschine machtlos. Frauen mussten am Arbeitsplatz soziale Vorurteile, sexuelle Bel\u00e4stigung u.v.m. aushalten. Technologie amplifiziert lediglich die soziopolitischen Regeln einer Gesellschaften. Eine Regulierung der Waschmaschine, um mehr Frauen auf den Arbeitsmarkt zu bekommen, h\u00e4tte auch nicht weitergeholfen.<\/p>\n<p>Leider verf\u00e4llt die DEK genau in dieses Denkschema und\u00a0will &#8222;Waschmaschinen&#8220; regulieren, um Diskriminierung und andere negative Effekte zu regeln. Dieser Ansatz hilft nicht, er unterminiert sogar unser rechtsstaatliches, demokratisches System.<\/p>\n<p>&#8222;Konzepte, an denen Zweifel bestehen, sollten nicht als Wahrheiten aufgezwungen werden&#8220;, sagte der Arzt und Humanist <em>Miguel Servetus<\/em>. Der DEK-Bericht bereitet einen wunderbaren Boden f\u00fcr\u00a0Diskussionen \u00fcber die Zukunft der Demokratie im digitalen Zeitalter;\u00a0nicht als Empfehlungen, sondern lediglich als Diskussionsgrundlage sollte der DEK-Bericht verstanden werden.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>EUVAS:\u00a0 Warum der allgemeine Rechtsrahmen zu Algorithmen rechtsdogmatisch die Grundpfeiler unserer Demokratie gef\u00e4hrdet Die Dogmatik des Datenschutzes ist individualrechtlich. Das \u201eRecht auf Privatleben\u201c und das \u201eRecht auf informationelle Selbstbestimmung\u201c stehen im Mittelpunkt. Die Datenethikkommission (DEK)\u00a0will diesen Ansatz fortschreiben, indem sie ein \u201eRecht auf digitale Selbstbestimmung\u201c erfindet. Dies f\u00fchrt am Ende dazu, dass sie den Wald [&hellip;]<\/p>\n","protected":false},"author":5235,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":[],"categories":[1],"tags":[],"_links":{"self":[{"href":"https:\/\/www.cr-online.de\/blog\/wp-json\/wp\/v2\/posts\/4797"}],"collection":[{"href":"https:\/\/www.cr-online.de\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.cr-online.de\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.cr-online.de\/blog\/wp-json\/wp\/v2\/users\/5235"}],"replies":[{"embeddable":true,"href":"https:\/\/www.cr-online.de\/blog\/wp-json\/wp\/v2\/comments?post=4797"}],"version-history":[{"count":9,"href":"https:\/\/www.cr-online.de\/blog\/wp-json\/wp\/v2\/posts\/4797\/revisions"}],"predecessor-version":[{"id":4819,"href":"https:\/\/www.cr-online.de\/blog\/wp-json\/wp\/v2\/posts\/4797\/revisions\/4819"}],"wp:attachment":[{"href":"https:\/\/www.cr-online.de\/blog\/wp-json\/wp\/v2\/media?parent=4797"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.cr-online.de\/blog\/wp-json\/wp\/v2\/categories?post=4797"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.cr-online.de\/blog\/wp-json\/wp\/v2\/tags?post=4797"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}