Harvard-Forscher schlägt vor, wissenschaftliche Probleme speziell für Claude zu formulieren

Matthew Schwartz, der zuvor Claude bereits dazu genutzt hatte, ein vollständiges theoretisches Physik-Paper in nur zwei Wochen zu schreiben, hat sein Experiment fortgesetzt. Diesmal entschied er sich dagegen, das Modell dazu zu zwingen, sich wie ein Wissenschaftler zu verhalten, sondern stattdessen nach wissenschaftlichen Problemen zu suchen, die den Stärken moderner Large Language Models (LLMs) entsprechen.

Er bezeichnet diese als Claude-shaped problems (Claude-förmige Probleme). Die Grundidee ist, dass sehr ähnliche mathematische Strukturen immer wieder in unterschiedlichen wissenschaftlichen Disziplinen auftauchen, während Forscher in einem Bereich oft nicht wissen, dass die benötigte Methode seit langem in einem anderen existiert. LLMs sind besonders gut darin, solche Verbindungen über eine große Menge verstreuter Literatur hinweg zu finden.

Zu diesem Zweck entwickelten Schwartz und Claude BootLoops, eine Reihe von Tools für exakte mathematische Berechnungen. Ursprünglich für die theoretische Physik konzipiert, begann Claude, praktisch identische Probleme in Ökologie, Genetik, Wirtschaftswissenschaften, Linguistik und anderen Feldern zu identifizieren.

Ein Beispiel: In der Ökologie fand das Modell eine Gleichung aus der Biodiversitätstheorie, die seit etwa 20 Jahren nicht effizient auf großen Datensätzen berechenbar war, und löste sie unter Anwendung von Methoden aus der mathematischen Physik. In der Populationsgenetik fand Claude einen Weg, ein Integral exakt zu berechnen – etwas, das seit rund 30 Jahren nur approximativ gelöst werden konnte. Dies ermöglichte es Forschern, ein DNA-Rekombinationsmodell auf einem riesigen genetischen Datensatz zu testen und Spuren von Gengeneconversion zu erkennen, die zuvor schwer zu isolieren waren.

Allerdings trat ein wichtiges Problem auf: Claude war zwar recht gut darin, technisch korrekte Ergebnisse zu liefern, aber schwach im Verständnis dafür, ob diese für eine bestimmte Wissenschaft tatsächlich interessant waren. Schwartz brachte solche Erkenntnisse wiederholt zu Domänenexperten und erhielt ungefähr dieselbe Reaktion: technisch beeindruckend, aber wissenschaftlich wenig relevant.

Daher wurde der Workflow angepasst. Claude sucht nach Verbindungen zwischen Fachgebieten, schreibt Code, führt Berechnungen durch und erkundet Hypothesen, während der Domänenwissenschaftler entscheidet, welche Fragestellung wirklich wertvoll ist. Auf diese Weise wurde ein Ergebnis, das zunächst in der Ökologie uninteressant erschien, zusammen mit einem Experten zu einem neuen Modell der Waldynamik, und eine Berechnung in der Genetik führte zu einer Analyse von Milliarden von Mutationspaaren.

Schwartz glaubt, dass hier moderne KI-Modelle die Wissenschaft bereits spürbar beschleunigen können. Eine enorme Schicht wissenschaftlicher Probleme kann gelöst werden, indem man nicht eine neue Methode erfindet, sondern eine bestehende Methode aus einem anderen Feld überträgt.

Anthropic Research