Künstliche Intelligenz

„Humanity’s Last Exam“: KI-Forscher haben einen neuen Test entwickelt, an dem selbst die besten aktuellen KI-Modelle scheitern – noch. Große Sprachmodelle wie DeepSeek, OpenAI-o1 oder Gemini 2.0 lösten weniger als zehn Prozent der 3.000 Aufgaben korrekt, die meisten erreichten sogar nur rund fünf Prozent. Die Menschheit hat demnach zumindest in der Wissenschaft auf Expertenniveau noch einen Vorsprung. Die Fragen des „Last Exam“ stammen aus mehr als 100 Fachgebieten und wurden von Forscher weltweit eingereicht.

Paper: Humanity's Last Exam | PDF

"Die vorher kaum bekannte chinesische KI-Firma DeepSeek hat einen Überraschungserfolg geschafft. Darin steckt auch eine Hoffnung für Europa."

https://archive.ph/xlt1W

…

Laut Berichten von Bloomberg haben Sicherheitsforscher von Microsoft Ende 2024 ungewöhnliche Aktivitäten festgestellt. Entwicklerkonten, die mutmaßlich mit DeepSeek in Verbindung stehen, sollen über die API von OpenAI große Datenmengen abgegriffen haben.

…

Archiv

Eine kleine Ollama -Anleitung, wie man die DeepSeek-Modelle ganz einfach lokal auf Linux mit 16 GB RAM (sogar ohne GPU) ausprobieren kann. Hier am Beispiel des ganz ordentlichen 14b-Modells deepseek-r1:14b.

• der Ollama-Download hat ca. 1.6 GB
• das Modell deepseek-r1:14b hat ca. 9 GB

Ollama wie folgt in einen Ordner herunterladen und dort auspacken:

mkdir ollama
cd ollama
wget https://github.com/ollama/ollama/releases/download/v0.5.7/ollama-linux-amd64.tgz
tar xfv ollama-linux-amd64.tgz

Ollama-Server starten:

bin/ollama serve

Modell herunterladen und starten:

bin/ollama run deepseek-r1:14b

Modell stoppen:

bin/ollama stop deepseek-r1:14b

DeepSeek lokal verwenden: DeepSeek 14b Modell mit Ollama lokal auf Linux nutzen

Archiv

Nachdem die KI-App des chinesischen Unternehmens DeepSeek am Wochenende die Konkurrenz in Apples App Store überholt hat, ist der Börsenwert von Nvidia am Montag um fast 600 Milliarden abgesackt. Es ist der größte derartige Tagesverlust der US-Börsengeschichte. Das vorher noch wertvollste Unternehmen der Welt ist damit auf Platz drei hinter Apple und Microsoft abgerutscht. Mit einem Wertverlust von 17 Prozent war der Kursrutsch von Nvidia aber am Montag noch nicht einmal der größte, Siemens Energy – wo man zuletzt von Erwartungen auf den hohen Strombedarf von KI-Rechenzentren profitierte – stürzte gar um gut 20 Prozent ab.

Experiment enthüllt: KI besitzt Fähigkeit zur Selbstreplikation und Umgehung der Abschaltung

Keine Science-Fiction mehr? Es gibt offenbar schon KI-Systeme, die sich selbst klonen und verbreiten können, wie ein Experiment enthüllt. Zwei verschiedene Große Sprachmodelle (LLMs) schafften es darin mehrfach, sich ohne Hilfe des Menschen zu kopieren und ihre Klone auf neuen Servern zu installieren. Eine solche unkontrollierte Selbstreplikation gilt als Rote Linie für die künstliche Intelligenz – und als potenzielle Gefahr für die Menschheit. Ist diese Linie bereits überschritten?

Paper: Frontier AI systems have surpassed the self-replicating red line | PDF

Archiv

Nepenthes funktioniert, indem eine Seite mit rund einem Dutzend Links generiert wird, die alle wieder auf sich selbst verlinken. Noch dazu haben die Nepenthes-Seiten extrem lange Ladezeiten, was bei den Crawlern Zeit bindet. Das Konzept lässt sich hier anschaulich ausprobieren (ja, das Laden der Seite im Schneckentempo ist Absicht). Wer über genug Rechenleistung und Bandbreite verfügt, kann noch einen Schritt weitergehen, und die Crawler mit Markov-generiertem Nonsens füttern, der die Festplatten der KI-Server verstopft.

Archiv

Um Betrug in wissenschaftlichen Publikationen zu verhindern, empfehlen die Studienautoren unter anderem die Einführung technischer Standards, um die Sicherstellung der Datenherkunft zu gewährleisten. Es sollte eine Pflicht zum Einreichen der Rohdaten geben. Auch komme der Einsatz automatisierter Tools zur Erkennung von gefälschten Bildern in Betracht.

Archiv

Die neuesten und leistungsfähigsten KI-Modelle erreichen laut der Anbieter gut und gerne 90 Prozent der gängigen Benchmarks. Das bedeutet schlicht, dass sie einen derart hohen Anteil an Aufgaben eines standardisierten Tests bestehen können. Nun gibt es jedoch einen neuen Test samt wissenschaftlichem Paper: Humanity's Last Exam. An diesem scheitern selbst die fortschrittlichsten Modelle.
Entwickelt wurde der Benchmark von den beiden US-Organisationen Scale AI und dem Center for AI Safety (CAIS). Die haben von knapp 1000 Experten aus 50 Ländern Fragen zu ihren jeweiligen Gebieten eingeholt. 70.000 Fragen sind zusammengekommen. Von denen haben Menschen in einem Review-Prozess 13.000 Fragen genauer angeschaut, in den Test sind davon wiederum 3000 Fragen aufgenommen worden. Es geht dabei um Mathematik, Naturwissenschaften, Geisteswissenschaften und mehr. Die Aufgabenstellungen variieren zwischen reinen Textaufgaben bis zu benötigten multimodalen Fähigkeiten, um Diagramme und Bilder zu verstehen. Wie der Name des Tests schon erahnen lässt, meinen die Experten, den ultimativen Test entwickelt zu haben.

Alternativer Link @archive.org

Ob Saft noch genießbar und Milch verdünnt ist oder von welcher Marke die Limo kommt – das können Menschen schmecken. Zuverlässiger gelingt das aber einer neu entwickelten Roboterzunge.

Forscher testen GPT, Gemini und Llama mit Geschichtswissen auf Hochschulniveau

KI als Historiker: Kennen und verstehen künstliche Intelligenzen die Weltgeschichte? Das haben Forschende erstmals mit einem Expertentest auf Doktoranden-Niveau überprüft. Dabei ging es um historische Fakten, aber auch Interpretationen und Widersprüche. Das Ergebnis: Die getesteten Varianten von GPT-4, Gemini und Llama beantworteten nur 33 bis 46 Prozent der Fragen korrekt – zu wenig für echtes Expertenwissen. Besonders schlecht schnitten die KI-Modelle in der Geschichte der Neuzeit ab, aber auch in einigen Regionen wie Afrika und Ozeanien.

Archiv

Archiv

Meta-Chef Mark Zuckerberg persönlich soll seinen Entwicklern gestattet haben, raubkopierte Inhalte für das Training von Metas KI-Modellen zu verwenden. Die Entwickler hätten zudem gezielt Hinweise auf das Urheberrecht aus dem Material entfernt. Das werfen die Anwälte mehrerer prominenter US-Autoren Meta in einem Rechtsstreit vor einem kalifornischen Gericht vor.

In den vor Kurzem veröffentlichten Dokumenten berufen (PDF) sich die Anwälte der Autoren auf Aussagen von Angestellten von Meta sowie auf interne Meta-Korrespondenz. Demzufolge soll Metas KI-Team nach "Eskalation zu MZ" die Freigabe erhalten haben, Daten von LibGen für das Training der Llama-Modelle zu nutzen. "MZ" stehe für Mark Zuckerberg. Die Anwälte der Autoren beschreiben LibGen als Sammlung von Raubkopien urheberrechtlich geschützter Werke. Allen Entscheidungsträgern inklusive Zuckerberg sei bewusst gewesen, dass es sich bei den Daten um Raubkopien handelte.