- Krieg aus der Retorte
Was ist gefährlicher als eine risikobehaftete Entwicklung? Zwei risikobehaftete Entwicklungen! Koppelt man etwa die moderne Gentechnik aus der Biowaffenforschung mit genomischer KI, so erhält man eine potentielle Doomsday-Technologie. Es besteht Handlungsbedarf.
Autoreninfo
Professor Dr. med. Matthias Schrappe ist Internist und war Vorstandvorsitzender der Universitäts-Klinik Marburg, Dekan und wiss. Geschäftsführer der Univ. Witten/Herdecke, Generalbevollmächtigter der Frankfurter Universitäts-Klinik, Dir. Institut Patientensicherheit Universität Bonn (in den Jahren 2002 bis 2011).
So erreichen Sie Matthias Schrappe:
Cicero Newsletter
Erhalten Sie täglich exklusive
Analysen und Hintergrundberichte
aus der Cicero Redaktion per E-Mail.
Dass die allgegenwärtige Digitalisierung und KI-Begeisterung nicht vor der Kriegsplanung und der Militarisierung der Gesellschaft haltmacht, das war zu erwarten. Aber welche Themen hierzu in welcher Geschwindigkeit aufgerufen werden, das erstaunt dann doch. Handelte es sich bis jetzt um Aufklärung und Gefechtsplanung, träumten bis jetzt die Kriegsplaner von KI-gesteuerten Drohnenschwärmen, geht es jetzt um den KI-Einsatz in der Waffenproduktion, und zwar auf einem besonders bedrohlichen, international geächteten Feld: in der Biowaffen-Entwicklung.
Zivilisatorische Endspiele
Zwei Entwicklungen kommen hier zusammen, die die Menschheitsgeschichte genauso beenden könnten wie sie den Abschied von einer freiheitlichen Gesellschaft einläuten dürften, und sie potenzieren sich enorm in ihren Auswirkungen. Zum einen lassen sich durch die modernen gentechnischen Methoden Erreger herstellen, die in ihrer Virulenz die natürlich vorkommenden Erreger weit in den Schatten stellen. Die international an vielen Orten betriebene Biowaffenforschung hat daran großes Interesse, auch wenn vorgegeben wird, man suche nur nach Impfstoffen und Gegenmitteln.
Auch in Friedenszeiten entstehen bereits hierdurch große Gefahren, denn immer wieder kommt es zu Laborunfällen und Ausbrüchen durch infizierte Mitarbeiter. Durch Corona konnten wir den Schrecken einer Pandemie mit einem hoch ansteckenden Erreger aus der Biowaffenforschung erst kürzlich kennenlernen. Es handelte sich um ein Virus, das sich in Windeseile auf der ganzen Welt ausbreitete und bei höherer Pathogenität gewiss die Fähigkeit besessen hätte, die Weltbevölkerung zu dezimieren oder auszulöschen. (1)
Zum anderen ist aber dieses neue genetic editing z.B. unter Einsatz des CRISPR-Verfahrens (2) immer noch zu langsam und zu kostspielig, sodass man nun Künstliche Intelligenz ins Spiel bringt, und zwar solche, die nicht an Texten sondern an genetischen Sequenzen sowie deren phänomenologischen Ausprägungen trainiert ist. Diese genomische KI hat also gelernt, welche genetischen Informationen bei einem Erreger welche Auswirkungen in Infektiosität und Pathogenität zur Folge haben, und kann selbst „Baupläne“ für neue Erreger vorschlagen.
Biowaffen-Entwicklung in drei Phasen
Obwohl man dem Eindruck erliegen könnte, dass sich die Situation bei der Biowaffenforschung und der Digitalisierung/KI erst in den letzten Jahren verschärft hat, handelt es sich doch um das Ergebnis lang anhaltender Entwicklungen. Gerade die Biowaffenforschung reicht weit zurück (3), in der ersten Phase nutzte man Erreger oder Toxine, die natürlich vorkommen (z.B. Milzbrand, Pocken, Influenza, Botulinumtoxin). Auch die Bundeswehr förderte bereits Anfang der 00er Jahre eine große Zahl von Projekten zu Biowaffen. (4) Eine große Rolle spielte die Technik der Lagerung und der Verbreitung im militärischen Einsatz (z.B. spontan, durch Wasser oder über Lebensmittel, im Erdreich, durch Aerosole, mittels Insekten (5), über zivile Einrichtungen wie U-Bahnen (6)). In der Forschung gab es aber auch unbeabsichtigte Freisetzungen, vor allem in Form von z.T. katastrophalen Laborausbrüchen, so fand in der UdSSR am 3.4.1979 ein großer Milzbrand-Ausbruch in Swerdlowsk statt – der gleiche Erreger, der in den 00er Jahren zu großer Beunruhigung durch Briefe mit mysteriösem Pulverinhalt führte.
Häufig wird die Forschung an Biowaffen mit dem Begriff „Gain of Function“-Forschung belegt, der aber nur für die zweite Phase sinnvoll ist, in der man mittels gentechnischer Methoden die Infektiosität und Pathogenität der Erreger zu verstärken suchte. So wurden Influenza-Viren mit hoher Ansteckungsfähigkeit (H5N1) bspw. mit Typen mit hoher Sterblichkeit (H1N1) kombiniert, und im Armed Forces Institute of Pathology in Washington war man in der Lage, den Erreger der „Spanischen Grippe“ aus genetischem Material aus Leichenteilen wiederherzustellen (7). Auch langfristige Wirkungen wie z.B. Onkogenität (Krebserkrankungen) wurden angestrebt. Die ebenfalls hier stattfindenden Laborausbrüche waren entsprechend schwerwiegender, bei H7N9 kam es zu einem Laborausbruch mit 130 Infizierten und 27 Todesfällen.
Solche „Global Catastrophic Biological Risks“ (GCBRs) (8), zu denen auch Covid-19 gehört (9), werden nun durch eine „convergence of AI and genetic editing“ (10) erheblich gesteigert. Man kann in Analogie zur Atombomben-Entwicklung in den USA von einem neuen Manhattan-Effekt sprechen, auch wenn das in der öffentlichen Diskussion noch nicht so erkannt wird – die KI, die an der Vielzahl von bereits existenten Erregern trainiert ist, schlägt Erreger mit höchster Pathogenität, Übertragbarkeit und optimalen Verbreitungsmöglichkeiten vor, die mittels der modernen gentechnischen Methoden realisiert und getestet werden können. Eine Generation von Superviren ist in Sicht, die etwa „die Ansteckungsfähigkeit der Masern, die Tödlichkeit von Pocken und die Inkubationszeit von HIV“ (11) kombinieren.
Aber es gibt einen wichtigen Unterschied zum Manhattan-Projekt: Es braucht dazu keine eigenen Wüstenstädte und überragende nationalen Anstrengungen wie bei der Atombombe, sondern es reichen mittelgroße Labore mit mittlerer Ausstattung und mittleren Finanzmitteln. Die notwendigen Materialien sind alle einfach zu beschaffen. (12) Diese Kombination von „large language models“ (LLMs) und „biological design tools“ (BDTs) (13) kann als Massenvernichtungswaffe „des kleinen Mannes“ gelten, schwer oder gar nicht zu kontrollieren. Ein kriegerischer Einsatz ist genauso vorstellbar wie der bio-terroristische Einsatz. (14)
Das dritte Gesicht der KI
Die Perzeption der Künstlichen Intelligenz bezog sich bisher immer auf die ökonomische Dimension und die Funktion der sozialen Kontrolle. Der Finanzkapitalismus konnte durch die Digitalisierung der Finanzströme seine Ablösung von der Realität des Produktions- und Dienstleistungssektors beschleunigen und vertiefen, sodass er zum Produzenten und zugleich zum Händler seiner selbst erstellten Information wurde. (15) Dass die Verbraucher hier eigentlich keine Rolle mehr spielen, sondern auf die Bereitstellung ihrer Daten reduziert werden, war mit eingepreist. Allerdings werden die realen Bedürfnisse der Konsumenten immer weniger zufriedengestellt, sodass sich die Notwendigkeit ergibt, zu Methoden der sozialen Kontrolle zu greifen. Shoshana Zuboff hat dies in ihrem Leuchtturm-Werk zum Überwachungskapitalismus umfassend dargestellt. (16)
Mit großem Recht wird den KI-Instrumenten Kritik zuteil, vor allem bezüglich des offenkundigen Mangels an induktiven, in die Zukunft gerichteten Kompetenzen sowie dem Umgang mit unsicheren Informationen (z.B. mit der Folge von Halluzinationen). Ohne menschliche Selbstreflexion kommt es zu Diskriminierung bei fehlender ethischer und moralischer Ausrichtung, eine sich selbst verstärkende Tendenz, da das deskilling, das Verlernen menschlicher Entscheidungsfindung einschließlich ethischer und moralischer Handlungsleitplanken, umso stärker ausgeprägt ist, je länger mit dem System gearbeitet wird. In diesem Sinne verfügt die KI über eine immanente Neigung zur Gewalt, auch wenn man durch die Programmierung versucht, sie freundlich und hilfsbereit zu gestalten. Diese Defizite werden besonders bei der militärischen Nutzung relevant, denn selbst wenn man auf „human in the loop“ bestehen sollte (Letztentscheidung durch einen Menschen), bleibt die präjudikative Vorwegnahme der vorgeschlagenen Entscheidungen bestehen und lässt der menschlichen Entscheidung wenig Spielraum.
Bei der Entwicklung von biologischen Waffen kommt jedoch noch ein anderer Faktor hinzu. Diese biological design tools, die mit Genom-Daten und den entsprechenden phänotypischen Ausprägungen trainiert sind, überführen die von Biowaffen ausgehende Gefahr von einem vereinzelten, dem Bioterrorismus ähnlichen Einsatz in eine umfassende und planmäßige Strategie. Diese Perspektive weist militärisch einen derart großen Bedeutungsumfang auf, dass zu erwarten ist, dass sie die in Militärkreisen heutzutage breit vertretene Drohnen-Begeisterung weit in den Schatten stellen wird. Wenn es bereits im Jahr 2000 hieß „There is little dispute that biological weapons have the capacity to initiate epidemics on a scale and with a degree of lethality unparalleled in modern history“ (17), dann bedeutet die aktuelle Entwicklung nichts anderes als die Vollautomatisierung dieser Drohung.
Wenn es bereits damals ausreichte, dass man lediglich annahm, dass der Irak B-Waffen auf der Basis von bakteriologischen Toxinen entwickelt hatte (übrigens offenbar mit deutscher Hilfe (18)) – obwohl die Waffen nach „Operation Desert Storm“ dann nicht gefunden werden konnten (19) – dann kann man extrapolieren, welche Gefahr von solchen Vermutungen unter den heutigen Bedingungen der KI-gestützten Biowaffenherstellung ausgehen könnte. Im aktuellen Ukraine-Krieg gibt es z.B. Vorwürfe von Russland, die USA betreibe Forschung an Biowaffen in der Ukraine, und wir haben bereits ein unkontrolliertes Aufschaukeln von solchen Bedrohungen vor Augen.
Aussichtslose Regulation?
Natürlich muss die internationale Diskussion zur Begrenzung oder gar zum Verbot von Produktion und Einsatz von Biowaffen fortgesetzt werden. Allerdings sind mehrere Caveats zu bedenken. Dies beginnt schon mit der Frage, was eigentlich Biowaffen in Abgrenzung zur zivilen Forschung genau sind. Immer schon hat man sich mit der Abgrenzung von präventiver Forschung (z.B. Entwicklung von Impfstoffen) und militärischer Forschung (einsatzorientiert) beschäftigt. Bereits 1980 konnte man sich in der Genfer Überprüfungskonferenz der am 10.4.1972 geschlossenen Biological Weapons and Toxine Convention (BWTC) zum Verbot von Biowaffen (ein Nachfolgevertrag des Genfer Protokolls von 1925) nicht auf eine Einigung über den Vertragsentwurf zur Überwachung des Abkommens einigen, da die Vertraulichkeit von Geschäftsinformationen gefährdet sei – obwohl bereits damals durch den Einsatz gentechnischer Methoden (Phase 2) eine Erhöhung der Gefahr im Raum stand. (20) Bevor man also wirtschaftliche (und wissenschaftliche) Interessen in Frage stellte, riskierte man die Unwirksamkeit des Biowaffen-Verbots. (21)
Dabei gab es durchaus Versuche, die Biowaffen-Produktion von der zivilen Forschung abzugrenzen. (22) Für eine zivile Nutzung sprechen kleine Mengen von Erregern besonders niedriger Infektiosität bzw. Pathogenität und offene, präklinische und klinische Studien, für eine militärische Nutzung dagegen große Erregermengen mit Erregern hoher Infektiosität/Pathogenität sowie die Forschung zu Methoden der Verbreitung und des Einsatzsystems. (23) „Die Möglichkeit einer missbräuchlichen Anwendung biologischer Forschungsergebnisse“, sagte 25 Jahre später der deutsche Ethikrat in seinem umfassenden und aussagekräftigen Gutachten (2014), „stellt ein ethisches Dilemma dar, da vielversprechende und hilfreiche Aspekte untrennbar mit bedrohlichen und besorgniserregenden Aspekten verbunden sind.“
Der Ethikrat grenzt daher den Begriff Biosafety für die Bedrohungen der menschlichen Gesundheit vom Begriff der Biosecurity für die externen Bedrohungen durch Biowaffen z.B. im Kriegsfall ab und setzt den Schwerpunkt auf die „Dual Use Research of Concern“ (DURC), worunter er „lebenswissenschaftliche Arbeiten, bei denen anzunehmen ist, dass sie Wissen, Produkte oder Technologien hervorbringen, die unmittelbar von Dritten missbraucht werden könnten, um das Leben oder die Gesundheit einer Vielzahl von Menschen, die Umwelt oder sonstige bedeutsame Rechtsgüter zu schädigen“ versteht.
Aber die Kontrolle bleibt ein großes Problem, allein in Deutschland wurden 2014 bis zu zehn DURC-Projekte pro Jahr geschätzt“. Bei der Klärung der sog. Anthrax-Anschläge in den USA musste das FBI lange ermitteln, bis man ausgerechnet einen Mitarbeiter, der an der Entwicklung von Milzbrand-Waffen beteiligt war, haftbar machen konnte. (24) Seine Täterschaft wurde allerdings nie endgültig bewiesen, der Verdächtige starb später an einem Suizid.
Jetzt, in Zeiten einer „democratization of synthetic biology and genetic engineering including clustered regularly interspaced short palindromic repeats (CRISPR) and gain-of-function research, artificial intelligence (AI), and 3D bioprinting“ spitzt sich diese Frage natürlich noch weiter zu, denn das Spektrum der in Frage kommenden Entwicklungsarbeiten ist ja fast unübersehbar geworden. So wären nun ja auch die Entwicklung von Algorithmen oder das Training genomischer KI als Biowaffenforschung anzusehen. Oft wird trotzdem immer wieder rein formal konstatiert, dass Strategien zur Kontrolle umfassen müssten: „(1) greater transparency and compliance in the Biological and Toxin Weapons Convention (BWC), (2) improved capabilities to identify the origin of biological events, and (3) a clear system of accountability for violations of the BWC.“ (25)
Das sind sozusagen fromme Wünsche. Als ein möglicher Ausweg wird die professionelle Selbstkontrolle in Spiel gebracht. Bereits bei der Influenza-Forschung um den Erreger der sog. Vogelgrippe (H5N1) wurde von Forschern eine Diskussion um sicherheitspolitische Aspekte und die Einschränkung der Forschungsfreiheit initiiert, die bis zur WHO reichte. Es kam wiederholt zu einem von Forschern selbst aufgestellten Moratorium.
Der deutsche Ethikrat versucht, die Wissenschaftsethischen Aspekte zu operationalisieren, indem er „das Streben nach Verallgemeinerbarkeit durch Orientierung an Standards der Argumentation (universalism), das Recht auf jedermanns Teilhabe am wissenschaftlichen Wissen und damit dem öffentlichen Zugang zum wissenschaftlichen Wissen (communalism), die Bereitschaft zur Zurückstellung privater Motive des Wissenschaftlers bei der Auswahl seiner Projekte und Erkenntnisprozesse (disinterest), das Eingeständnis, dass wissenschaftliche Überzeugungen irrtumsbehaftet sein können, und die Bereitschaft, Forderungen nach Begründung eigener Geltungsansprüche Folge zu leisten (organised scepticism)“ (26) unterscheidet. Die Forschung muss in ihren Schritten überschaubar, beherrschbar und reversibel sein. (27)
Die Ausführungen des Ethikrates in dem Gutachten 2014 sind wirklich überzeugend und werden daher auch im internationalen Rahmen als eine Art Referenzquelle gehandhabt. Angesichts der aktuellen Bedrohung bleibt dennoch der Eindruck zurück, dass man zwar eine Kontrolle versucht, aber dass es im Subtext längst klar ist, wie wenig erfolgreich sie sein wird. Die Wissenschaft geht ihren Weg, die industrielle Entwicklung geht ihren Weg, die Aufrüstung ist unübersehbar und international vernetzt, ganz allgemein werden die Regeln der internationalen Zusammenarbeit nivelliert.
Und wenn etwas „passiert“, so wie wir es bei Corona erlebt haben, wird jede Nachfrage und Diskussion, auch auf wissenschaftlichem Niveau, aus Härteste bekämpft und verhetzt. Keine guten Aussichten, gerade wenn man sich die gegenwärtige Diskussion in Deutschland ansieht, die darauf abzielt, die Selbstverpflichtung einiger Universitäten zur Ablehnung dualer Forschung politisch abzulehnen und zu hintertreiben, und zwar mit der Begründung, es handele sich um ein „Relikt einer vergangenen Friedensepoche“.
Fußnoten
(1) Yassif, J.M., Korol, S, Kane, A.: Guarding Against Catastrophic Biological Risks: Preventing State Biological Weapon Development and Use by Shaping Intentions. Health Security 21, 2023, DOI: 10.1089/hs.2022.0145
(2) Clustered Regularly Interspaced Short Palindromic Repeats, eine Technik, mit der es relativ einfach möglich ist, Gensequenzen zu entfernen oder neu einzufügen.
(3) Inglesby, T.V., O’Toole, T., Henderson, D.A.: Preventing the Use of Biological Weapons: Improving Response Should Prevention Fail, Clin. Inf. Dis. 30, 2000, 926-9
(4) Jan Van Aken: Verteidigungsoffensive im Reagenzglas. B-Waffen-Forschung und die Geheimniskrämerei der Bundeswehr, FR 18.6.2001; Sonderheft „Biologische Sicherheit“, Bundesgesundhbl.46, 2003; Keyy, K., Becker, S., Wulf, H., Densow, D: Biologische Waffen. Dtsch. Med. Wschr. 135, 2010, 1612-16
(5) Yao, F. A., Millogo, A. A., Epopa, P. S., North, A., Noulin, F., Dao, K., Drabo, M., Guissou, C., Kekele, S., Namountougou, M., Ouedraogo, R.K., Pare, L., Barry, N., Sanou, R., Wandaogo, H., Dabire, R.K., McKemey, A., Tripet, F., Diabaté, A.: Mark-release-recapture experiment in Burkina Faso demonstrates reduced fitness and dispersal of genetically modified sterile malaria mosquitoes. Nat. Commun. 13, 2022, doi: 10.1038/s41467-022-28419-0
(6) Menschenversuche in der U-Bahn, Fr. 25.4.1994
(7) Grippe, Gräber und Gelehrte, Die Zeit 16.10.2003
(8) De Lima, R.C., Sinclair, L., Megger, R., Maciel, M.A.G., da Costa Vasconcelos, P.F., Quaresma, J.A.S.: Artificial intelligence challenges in the face of biological threats: emerging catastrophic risks for public health. Frontiers in Artificial Intelligence 2024, doi 10.3389/frai.2024,1382356
(9) Yassif, J.M., Korol, S, Kane, A.: Guarding Against Catastrophic Biological Risks: Preventing State Biological Weapon Development and Use by Shaping Intentions. Health Security 21, 2023, DOI: 10.1089/hs.2022.0145
(10) De Lima, R.C., Sinclair, L., Megger, R., Maciel, M.A.G., da Costa Vasconcelos, P.F., Quaresma, J.A.S.: Artificial intelligence challenges in the face of biological threats: emerging catastrophic risks for public health. Frontiers in Artificial Intelligence 2024, doi 10.3389/frai.2024,1382356
(11) De Lima, R.C., Sinclair, L., Megger, R., Maciel, M.A.G., da Costa Vasconcelos, P.F., Quaresma, J.A.S.: Artificial intelligence challenges in the face of biological threats: emerging catastrophic risks for public health. Frontiers in Artificial Intelligence 2024, doi 10.3389/frai.2024,1382356, Übers. der Autor
(12) Inglesby, T.V., O’Toole, T., Henderson, D.A.: Preventing the Use of Biological Weapons: Improving Response Should Prevention Fail, Clinical Infectious Disease 30, 2000, 926-9
(13) Sandbrink, J.B.: Artificial intelligence and biological misuse: Differentiating risks of language models and biological design tools. https://arxiv.org/pdf/2306.13952
(14) Rathish, B., Pillay, R., Wilson, A., Pillay, V.V.: Comprehensive Review of Bioterrorism. 2023. In: StatPearls (Internet). Treasure Island (FL): StatPearls Publlishing; 2026 Jan-, PMID 34033376
(15) Joseph Vogl: Kapital und Ressentiment. Eine kurze Theorie der Gegenwart. Beck, München 2021
(16) Zuboff, S.: Das Zeitalter des Überwachungskapitalismus. Aus dem Englischen von Bernhard Schmid. Campus, Frankfurt/New York, 2018
(17) Inglesby, T.V., O’Toole, T., Henderson, D.A.: Preventing the Use of Biological Weapons: Improving Response Should Prevention Fail, Clin. Inf. Dis. 30, 2000, 926-9
(18) Hundertemal tödlicher als C-Waffen, Spiegel 30.1.1989; Irak verfügte im Golf-Krieg über einsatzfähige biologische Waffen, FR 26.8.1995
(19) Atlas, R.M., Goldbereg, M.: Biological Warfare: Examining Verification Strategies. ASM News 59, 1993, 393-6
(20) Genfer Konferenz: Verbot bakteriologischer Waffen befolgt, FR 22.3.1980; Beginn eines neuen Wettrüstens? TAZ 6.8.1984; B-Waffen-Vertrag wirksamer? Überprüfungskonferenz vereinbart bessere Information, FR 1.10.1986; Auch im Reagenzglas dreht sich die Rüstungsspirale immer weiter, Dokumentation, Teil 1 und 2, FR 17. und 19.9.1988
(21) USA blockieren Biowaffen-Verbot, FR 26.7.2001; Die Säulen der Biowaffen-Konvention wanken, SZ 13.11.2002
(22) Huxsoll, D.L., Parrott, C.D., Patrick III, W.C.: Medicne in Defense against Biological Warfare. JAMA 262,1989, 677-9
(23) Huxsoll, D.L., Parrott, C.D., Patrick III, W.C.: Medicne in Defense against Biological Warfare. JAMA 262,1989, 677-9
(24) Die Suche nach Mr. Anthrax. Die Zeit 11.7.2002; Das Werk eines Profis, SZ 28.11.2003
(25) Yassif, J.M., Korol, S, Kane, A.: Guarding Against Catastrophic Biological Risks: Preventing State Biological Weapon Development and Use by Shaping Intentions. Health Security 21, 2023, DOI: 10.1089/hs.2022.0145
(26) Deutscher Ethikrat: Biosicherheit – Freiheit und Verantwortung in der Wissenschaft. Berlin 7.5.2014, S. 57
(27) Deutscher Ethikrat: Biosicherheit – Freiheit und Verantwortung in der Wissenschaft. Berlin 7.5.2014, S. 73
