Compare commits
6 Commits
90b2caf1de
..
main
| Author | SHA1 | Date | |
|---|---|---|---|
| de49e48a6e | |||
| d28021f34d | |||
| cece01314b | |||
| 21abb092c5 | |||
| 49661e108a | |||
| daaf36905f |
+1
-1
@@ -218,7 +218,7 @@ enable_cards_tag_filtering = true
|
|||||||
invert_title_order = false
|
invert_title_order = false
|
||||||
|
|
||||||
# Full path after the base URL required. So if you were to place it in "static" it would be "/favicon.ico"
|
# Full path after the base URL required. So if you were to place it in "static" it would be "/favicon.ico"
|
||||||
favicon = "img/logov3.png"
|
favicon = "img/favicon.ico"
|
||||||
|
|
||||||
# Add an emoji here to use it as favicon.
|
# Add an emoji here to use it as favicon.
|
||||||
# Compatibility: https://caniuse.com/link-icon-svg
|
# Compatibility: https://caniuse.com/link-icon-svg
|
||||||
|
|||||||
+1
-1
@@ -2,7 +2,7 @@
|
|||||||
title = "Neues"
|
title = "Neues"
|
||||||
|
|
||||||
[extra]
|
[extra]
|
||||||
header = { title = "benji0x3c", img = "img/logov2-scaled.png", img_alt = "YOUR_NAME" }
|
header = { title = "benji0x3c", img = "img/logov2-scaled.png", img_alt = "benji0x3c" }
|
||||||
section_path = "blog/_index.md"
|
section_path = "blog/_index.md"
|
||||||
max_posts = 5
|
max_posts = 5
|
||||||
+++
|
+++
|
||||||
|
|||||||
Binary file not shown.
|
Before Width: | Height: | Size: 205 KiB |
@@ -1,22 +0,0 @@
|
|||||||
+++
|
|
||||||
title = "Dystopische Zeiten"
|
|
||||||
date = "2026-04-23"
|
|
||||||
description = "Wahrscheinlich die bisher schlimmste Kompromittierung des Jahres"
|
|
||||||
|
|
||||||
[taxonomies]
|
|
||||||
tags = ["security","meinung","news"]
|
|
||||||
+++
|
|
||||||
Aktuell habe ich das Gefühl, dass diverse Science-Fiction Voraussagen erfüllt werden.
|
|
||||||
Nur leider werden nur die dystopischsten Aspekte des fiktiven World-Buildings bedient.
|
|
||||||
Ich möchte das an zwei Beispielen veranschaulichen:
|
|
||||||
## Polymarket und Kalshi
|
|
||||||
Du möchtest darauf wetten, dass das israelische Militär bis zum 31 Mai den Jemen angreift?
|
|
||||||
Dann bist du nicht nur ein schrecklicher Mensch ohne Moral sondern 27% Quote
|
|
||||||
|
|
||||||
## JetBlue und die Beerdigung
|
|
||||||
| *Twitterinteraktion der Airline JetBlue* |
|
|
||||||
|:--:|
|
|
||||||
|  |
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
Binary file not shown.
|
Before Width: | Height: | Size: 174 KiB |
@@ -0,0 +1,77 @@
|
|||||||
|
+++
|
||||||
|
title = "Project Glasswing"
|
||||||
|
date = "2026-06-03"
|
||||||
|
description = "Wie sind die Meinungen zu Anthropics Mythos Preview?"
|
||||||
|
|
||||||
|
[taxonomies]
|
||||||
|
tags = ["ki","meinung"]
|
||||||
|
+++
|
||||||
|
**Metaanalyse zu Project Glasswing**
|
||||||
|
## Was ist Glasswing?
|
||||||
|
+ Das neue, unveröffentlichte Claude Mythos Preview Modell zeigt laut Anthropic
|
||||||
|
sehr fortgeschrittene Fähigkeiten zur Findung von Schwachstellen.
|
||||||
|
+ Deshalb wurde das Modell von Anthropic als zu gefährlich befunden.
|
||||||
|
+ Vorerst wird es nur 40 Unternehmen in einer geschlossenen Zusammenarbeit zugänglich gemacht: **Project Glasswing**.
|
||||||
|
+ Unter den Unternehmen sind AWS, Microsoft, die Linux Foundation und Cloudflare.
|
||||||
|
|
||||||
|
## Was sagt Anthropic?
|
||||||
|
| | Glasswing Blogpost | Red-Team Blogpost | System Card |
|
||||||
|
|------|------|------|------|
|
||||||
|
| Umfang | Ca. 15 Seiten | Ca. 30 Seiten | 245 Seiten |
|
||||||
|
| Inhalt | Verkündet die geschlossene Nutzung des Modells durch ausgewählte Unternehmen, wobei der Bericht des Red-Teams referenziert wird um die Fähigkeiten des Modells zu belegen. | Bericht von Anthropics Red-Team, in welchem Mythos als Werkzeug zur Sicherheitsforschung evaluiert wird. Erläutert einige Schwachstellen im Detail. | Allgemeiner Technischer Bericht zu dem neuen Modell, der sich "nur" über sieben Seiten den Cybersecurity-Aspekten widmet. |
|
||||||
|
| Link | [hier](https://www.anthropic.com/glasswing) | [hier](https://red.anthropic.com/2026/mythos-preview/) | [hier](https://www-cdn.anthropic.com/8b8380204f74670be75e81c820ca8dda846ab289.pdf) |
|
||||||
|
|
||||||
|
## Welche Rückläufe gibt es nach der Veröffentlichung?
|
||||||
|
### Überwiegend Positiv
|
||||||
|
##### Firefox
|
||||||
|
[Firefox Entwickler](https://hacks.mozilla.org/2026/05/behind-the-scenes-hardening-firefox/) berichten, dass sie im 150 Release, 271 bugs durch Mythos Preview beheben konnten. Laut ihrem Artikel war es ihnen möglich durch das neue Modell und ein neues Harnessing ihre Quote an gepatchten Bugs signifikant steigern.
|
||||||
|
##### XBOW
|
||||||
|
Die [IT-Security Firma XBOW](https://xbow.com/blog/mythos-offensive-security-xbow-evaluation) hat Mythos ebenfalls evaluiert und sieht das Modell als signifikanten
|
||||||
|
Schritt nach vorne. XBOW sieht die Stärken des Modells in der Analyse von Source Code und beim Reverse Engineering,
|
||||||
|
wobei das Modell auffällig gut in der Lage war False Positives zu identifizieren. XBOW sieht aber Limitierungen beim
|
||||||
|
on-site Pentesting. Mythos allein reicht laut XBOW nicht aus um Sicherheitsdefizite in einer Softwareinfrastruktur
|
||||||
|
zu identifizieren. Hierbei gilt allerdings zu beachten, dass XBOW als Security Dienstleister auch Interesse daran hat weiterhin nachgefragt zu bleiben.
|
||||||
|
##### Cloudflare
|
||||||
|
[Cloudflare](https://blog.cloudflare.com/cyber-frontier-models/) erklärt in einem ausführlichen Artikel, dass Mythos für sie Stärken in der Code Analyse gezeigt
|
||||||
|
hat. Am beeindruckendsten waren dabei die Fähigkeiten zur Verkettung mehrerer Exploits und die Präzision beim
|
||||||
|
Validieren von Schwachstellen. Besonders bemerkenswert ist hierbei der von Cloudflare verwendete Harness
|
||||||
|
(Geschirr oder Gurt). Einige der Agents laufen dabei in vielen parallelen Instanzen, die meisten Agents sind sogar in der Lage selbst weitere Agents zu starten.
|
||||||
|
##### Calif
|
||||||
|
Sicherheitsforscher der [Firma Calif](https://blog.calif.io/p/first-public-kernel-memory-corruption) haben eine speicherbasierten Exploit für Apples M5 Chip gefunden. Die
|
||||||
|
Implementation des Exploits enthält neben 2 Schwachstellen zahlreiche weitere Techniken und erlaubt einem
|
||||||
|
Nutzer ohne Privilegien Root Rechte zu erlangen. Mythos Preview half dabei bei der Identifikation der Bugs und der Exploit-Entwicklung.
|
||||||
|
##### AISI
|
||||||
|
Das renommierte [AI Security Institute](https://www.aisi.gov.uk/blog/our-evaluation-of-claude-mythos-previews-cyber-capabilities) (Department for Science, Innovation & Technology UK) hat bei seiner Evaluation
|
||||||
|
in dem Modell einen sehr klaren Entwicklungsschritt erkannt. Bei Capture-The-Flag aufgaben zeigte Mythos durchweg sehr
|
||||||
|
gute Leistungen und brillierte besonders bei hohen Schwierigkeitsgraden. Außerdem ist Mythos Preview das erste Modell,
|
||||||
|
welches "The Last Ones" erfolgreich abschließen konnte. Dabei handelt es sich um die Simulation eines Angriffs auf ein
|
||||||
|
Unternehmensnetzwerk mit 32 Schritten. Bei einem komplexeren Parkour scheiterte Mythos Preview allerdings. Das AISI
|
||||||
|
schließt daraus, dass Mythos Preview in der Lage ist Systeme mit schwachen/schlechten Security-Standarts kompromittieren
|
||||||
|
kann.
|
||||||
|
|
||||||
|
### Kritisch
|
||||||
|
##### FlyingPenguin
|
||||||
|
Der Information Security Experte [Davi Ottenheimer](https://www.flyingpenguin.com/the-boy-that-cried-mythos-verification-is-collapsing-trust-in-anthropic/) äußert sich in seinem Blog relativ kritisch zu dem Bericht. Seiner Meinung nach sind die Zahlen extrem aufgeblasen, so basieren beispielsweise die allermeisten der 250 gennanten Firefox Exploits auf zwei Bugs. Er findet die genutzen Benchmarks problematisch und zieht außerdem den Vergleich zu Fuzzing, da sehr viele Agents gleichzeitig den Code nach Lücken durchforsten. Hierbei wundert sich Ottenheimer warum keine Vergleich mit potentent Fuzzingsystemen gezogen wird. Er vermutet hinter der Kommunikation um Mythos Preview sehr viel Marketing.
|
||||||
|
##### AISLE
|
||||||
|
[AISLE](https://aisle.com/blog/ai-cybersecurity-after-mythos-the-jagged-frontier) ein renommiertes Unternehmen, welches KI und IT-Security verbindet hat die Code-Abschnitte der von Anthropic genannten Schwachstellen isoliert und acht verschiedenen, kleinen Modellen zugeführt. Das Ergebnis: auch kleinere Modelle waren in der Lage die Schwachstellen zu identifizieren. Bei der FreeBSD Schwachstelle gelang das sogar jedem Modell. Natürlich wurde die Modelle hier schon auf die richtige Stelle im Code verwiesen, aber das Unterhnehmen wollte damit zeigen, dass Anthropic ihr Modell doch etwas aufgeblasen hatte. AISLE bestreitet aber nicht, dass Mythos Preview ein sehr fähiges neues Modell ist.
|
||||||
|
##### cURL
|
||||||
|
Der [curl Entwickler Daniel Sternberg](https://daniel.haxx.se/blog/2026/05/11/mythos-finds-a-curl-vulnerability/) hat seine Codebasis durch einen Dritten mit Mythos-Zugang analysieren lassen. Der resultierende Report enthielt fünf Schwachstellen, drei davon waren False Positives und eine weitere "nur" ein Bug. Damit blieb genau eine Schwachstelle, welche eine niedrige Kritikalität hat. Dabei gilt zu beachten, dass der Code von curl bereits sehr gut abgehangen ist. Die Entwickler nutzen statische Analyse, Fuzzer und KI-unterstützte Tools um Schwachstellen zu vermeiden. Sternberg hält die Art und Weise wie Mythos veröffentlicht wurde für einen großen Marketingstunt. Er findet KI zur Codeanalyse zwar sehr nützlich, aber seinen Beobachtungen nach werden nur bekannte Schwachstellen-Arten entdeckt.
|
||||||
|
##### Harnessing?
|
||||||
|
Unklar ist wieviel Unterschied die neuen Harnessing Infrastrukturen bei für die Effektivität der Modelle gebracht haben.
|
||||||
|
|
||||||
|
### Was sagt Anthropic selbst?
|
||||||
|
**In einem [Blogpost](https://www.anthropic.com/research/glasswing-initial-update) vom 22 Mai gibt Anthropic ein Update zu Glasswing. Der Inhalt lässt sich in drei Punkten zusammenfassen:**
|
||||||
|
1. Die Glasswing Partnerunternehmen sollen insgesamt über 10 Tausend hohe und kritische Schwachstellen gefunden haben. Außerdem erwähnt Anthropic die positiven Testberichte des Modells von AISI, Mozilla und XBOW.
|
||||||
|
2. In OpenSource Repositories sollen 6.200 mögliche Schwachstellen mit dem Schweregrad hoch und kritisch gefunden worden sein. Bisherige Auswertungen deuten an, dass 90.6% tatsächliche Schwachstellen sind und dass 62.4% tatsächlich dem Schweregrad hoch und kritisch entsprechen. Von ca. 1.451 Meldungen, die tatsächlich bei den betroffenen Maintainern angekommen sind, wurden bisher nur 97 gepatcht.
|
||||||
|
3. Anthropic führt dann noch aus welche Maßnahmen auch ihrer Sicht notwendig sind um auf diese neue Bedrohungslage zu reagieren.
|
||||||
|
|
||||||
|
|
||||||
|
## Meine Einschätzung
|
||||||
|
**Die Große Katastrophe dürfte ausbleiben:**
|
||||||
|
|
||||||
|
- Natürlich werden durch leistungsstärkere Modelle und bessere Harnessing-Infrastruktur erstmal mehr Schwachstellen gefunden, auch einige Bugs die schon seit Jahren im Code existierten.
|
||||||
|
- Dieses Meer an Lücken sollte jedoch irgendwann erschöpft sein und neuer Code kann vor der Inbetriebnahme mit ebendiesen Systemen untersucht werden. Demnach ähnelt die Einführung eines kompetenteren Modells der Einführung eines neuen, mächtigeren Fuzzing-Tools.
|
||||||
|
- Bisher waren die Modelle nur in der Lage bekannte Schwachstellen-Gattungen zu reproduzieren, ob KI irgendwann einen völlig neuen Schwachstellentyp entdeckt ist unklar.
|
||||||
|
|
||||||
|
**Mythos Preview ist ein sehr potentes Modell, dass besonders bei der Schwachstellensuche in Quellcode glänzen kann. Obwohl die Aufregung rund um Project Glasswing meiner Meinung nach etwas übertrieben ist, werden KI-gestützte Systeme die Möglichkeiten zur Identifikation von Sicherheitslücken stark verändern.**
|
||||||
|
|
||||||
Binary file not shown.
|
Before Width: | Height: | Size: 20 KiB |
@@ -1,78 +0,0 @@
|
|||||||
+++
|
|
||||||
title = "Revolution oder Blase"
|
|
||||||
date = "2026-03-12"
|
|
||||||
description = "Was ich vom KI Hype halte"
|
|
||||||
|
|
||||||
[taxonomies]
|
|
||||||
tags = ["ki","meinung"]
|
|
||||||
+++
|
|
||||||
**Was ich vom KI Hype halte**
|
|
||||||
|
|
||||||
Künstliche Intelligenz ist das Kernthema der meisten Diskurse die momentan im IT Kosmos geführt werden.
|
|
||||||
Mir fällt auf, dass sich die meisten Talking Points unter zwei Erzählungen einordnen lassen:
|
|
||||||
|
|
||||||
#### "Die jetzige KI ist nur Blendwerk"
|
|
||||||
Eine relativ große Gruppe, darunter viele Akademiker, scheinen sich vor allem auf die Probleme und Schwächen
|
|
||||||
der großen Sprachmodelle zu konzentrieren. Im Grunde ist dieser Ansatz wichtig, besonders da viele Benchmarks
|
|
||||||
und Metriken von der KI-Industrie erstellt werden und deshalb nicht ganz ohne Bias auskommen. Jedoch fällt mir auf, dass
|
|
||||||
es einigen Kritikern eher darum geht KI gesamthaft zu diskreditieren. Persönlich glaube ich, dass diese Reaktion
|
|
||||||
bei vielen Menschen mit Angst zu tun hat. Denn anzuerkennen, dass wir der Modellierung von Intelligenz
|
|
||||||
ein ganzes Stück näher gekommen sind, ist extrem besorgniserregend.
|
|
||||||
|
|
||||||
Diese Sorge ist meiner Meinung nach aber leider keinesfalls irrational. In unserer Gesellschaft sind Maschinen,
|
|
||||||
die plötzlich eine deutlich größere Zahl an Aufgaben übernehmen können, eine ökonomische Bedrohung für Arbeitnehmer. Hinzu
|
|
||||||
kommt die viel grundlegendere Frage ob eine Superintelligenz, also eine Intelligenz welche die kognitiven Fähigkeiten des
|
|
||||||
klügsten Menschen bei weitem übersteigt, überhaupt erstrebenswert ist. Eines der meistzitierten Bücher zu KI,
|
|
||||||
*Superintelligence. Paths, Dangers, Strategies.* von Nick Bostrom, befasst sich auf mehreren hundert Seiten nur
|
|
||||||
mit den Fragen wie uns die Superintelligenz zugrunde richten kann und wie schwierig es sein wird sie zu kontrollieren.
|
|
||||||
Abgesehen davon, dass ich mit sehr vielen Ansichten von Nick Bostrom grundsätzliche Probleme habe (Transhumanismus, Longtermismus etc.),
|
|
||||||
macht er in dem Buch durchaus gute Punkte. Die KI muss uns nichtmal feindlich gesinnt sein, damit ihre Existenz für den
|
|
||||||
Menschen zur Katastrophe werden kann. Wir sind den anderen Tieren auf diesem Planeten auch nicht feindlich gesinnt,
|
|
||||||
dennoch werden sie durch unsere Handeln massiv in Mitleidenschaft gezogen. Diese Dominanz entsteht nur durch den
|
|
||||||
Intelligenz-Gap zwischen uns und den Tieren, von denen uns viele ja sogar physisch überlegen sind.
|
|
||||||
|
|
||||||
All das illustriert nur, dass die Bedenken gegenüber KI mehr als berechtigt sind. Diese ändern jedoch nichts am Fakt,
|
|
||||||
dass auch aktuelle Sprachsysteme beeindruckende und nützliche Fähigkeiten haben, die über reines Googlen hinausgehen.
|
|
||||||
Ich glaube nicht, dass die AGI bereits erreicht wurde, aber die neueren Entwicklungen der kognitiven Algorithmen sind
|
|
||||||
trotzdem extrem disruptiv und die ersten Vorzeichen von einem neuen Zeitalter.
|
|
||||||
#### "Die Revolution ist da"
|
|
||||||
Der andere Standpunkt zu den aktuellen Entwicklungen im Feld der KI ist deutlich optimistischer. Zu optimistisch für
|
|
||||||
meinen Geschmack. Alles ist jetzt KI oder KI-Assisted, für jede Aufgabe gibt es einen Agent und KI-Startupgründer
|
|
||||||
unterbieten sich mit Prognosen für das Aussterben diverser Berufszweige. LLMs sind sehr praktisch und nützlich aber
|
|
||||||
haben immer noch sehr starke Limitierungen. Momentan kann niemand wirklich prognostizieren, ob Sprachmodelle irgendwann
|
|
||||||
an eine gläserne Decke prallen werden. Denn aktuell werden Verbesserungen vor allem durch Skalierung erreicht, also mehr Daten
|
|
||||||
mehr Hardware, mehr Daten, mehr Hardware etc.
|
|
||||||
|
|
||||||
Die Auswirkungen auf die Umwelt sind natürlich absolut Katastrophal. Abgesehen
|
|
||||||
vom absurden Wasserverbrauch sind die riesigen Sprachmodelle extrem energieintensiv. Bei den Hyperscalern (Google, Amazon, Meta)
|
|
||||||
die sich vor kurzem noch auf C0² Neutralität committed haben, sieht die Welt durch den KI Hype mittlerweile ganz anders aus:
|
|
||||||
* **Google** Steigerung von 48% der Treibhausgas-Emissionen in 2018-2023
|
|
||||||
* **Microsoft** Steigerung von 29% der Treibhausgas-Emissionen in 2020-2023
|
|
||||||
* **Meta** Steigerung von 49% der Treibhausgas-Emissionen nur in 2022
|
|
||||||
|
|
||||||

|
|
||||||
Meta plant den Bau eines Datacenters so groß wie Manhattan, ausschließlich im die eigene KI Infrastruktur zu verbessern.
|
|
||||||
Auch wenn sich beim Befragen von KI Modellen einiges optimieren lässt
|
|
||||||
(Stichwort: Speculative Decoding, Early Exciting etc.), ist aus einer ökologischen Sicht sehr davon abzuraten die Anzahl der KI Anfragen insgesamt zu steigern.
|
|
||||||
Genau das würde allerdings bei einer breiten Einbindung von Sprachmodellen in Arbeitsprozesse passieren.
|
|
||||||
|
|
||||||
Dabei sind, und das ist mir hier noch einmal wichtig zu betonen, diese Modelle nicht im klassischen Sinne intelligent. Sie erzeugen
|
|
||||||
einfach eine Reihe von Sprachbausteinen(tokens) und wählen jeweils den nächst wahrscheinlichen Sprachbaustein (extrem vereinfacht).
|
|
||||||
Dabei wird auf Plausibilität optimiert, nicht auf Korrektheit, weshalb es zu den bekannten Halluzinationen kommt. Diese Fehler sind
|
|
||||||
in der Praxis sehr gefährlich, weil sie plausibel aussehen und nur von Menschen mit Fachkenntnis im betroffenen Themengebiet enttarnt
|
|
||||||
werden können. Woher soll der durchschnittliche Patient wissen, dass ihm der Gesundheits-Chatbot soeben eine tödliche Dosis eines
|
|
||||||
Medikamentes verschrieben hat. KI Modelle, modellieren Wahrscheinlichkeiten, auf eine sehr komplexe, einzigartige Weise, aber dennoch
|
|
||||||
arbeiten sie auf Basis von Stochastik. Hier besteht natürlich eine extreme Gefahr für diverse Formen von Bias. Die KI ist mit Daten aus
|
|
||||||
unserer Gesellschaft trainiert worden und wird somit all ihre diskriminierenden Defizite übernehmen. Hinzu kommt, dass die Modelle von
|
|
||||||
Tech Bros mit fragwürdigem bis problematischem ideologischem Hintergrund kontrolliert werden. Zu diesem Thema kann ich das Büchlein
|
|
||||||
*Künstliche Intelligenz und der neue Faschismus* von Rainer Mühlhoff empfehlen.
|
|
||||||
|
|
||||||
### Fazit
|
|
||||||
Die Künstliche Intelligenz in ihrer aktuell verbreitetsten Form extrem nützlich, aber noch weit von einer Superintelligenz entfernt.
|
|
||||||
Diese Nützlichkeit kommt jedoch zu einem sehr hohen ökologischen Preis und könnte bisher ungeahnte Folgen auf die Kognition der Menschen haben,
|
|
||||||
die der KI große Teile des Denkens überlassen. Ich glaube die KI Revolution ist noch nicht gekommen, aber wir haben einen kleinen Vorgeschmack bekommen,
|
|
||||||
wie disruptiv diese Revolution sein könnte. Die Technologie wird zugleich unter- und überschätzt und beide Lager haben ihre Gründe für ihre Standpunkte,
|
|
||||||
aber die eigentlich zentrale Frage bleibt: wer entscheidet darüber wie diese Modelle eingesetzt werden. Ich finde es falsch, dass private Unternehmen
|
|
||||||
mit Profitinteressen entscheiden wie diese Modelle umgesetzt und eingesetzt werden. Das abgebildete Wissen in den Modellen wurde von der gesamten Gesellschaft
|
|
||||||
produziert, weshalb ihr meiner Meinung ein Mitspracherecht zusteht. Außerdem ist die Technologie existenziell zu relevant,
|
|
||||||
um sie nur in die Obhut von ein paar Silicon Valley "Strategen" zu geben.
|
|
||||||
Binary file not shown.
|
After Width: | Height: | Size: 15 KiB |
Reference in New Issue
Block a user