3 private links
We find that use of model-generated content in training causes irreversible defects in the resulting models, where tails of the original content distribution disappear.
Guter Vergleich der OpenAI Modelle und interessanter Hintergrund der RL Ergebnisse für Chat und komplexere aufgaben - Modelle mussten wieder "dümmer" gemacht werden zum chat Einsatz
Wie eng Fortschritt und Sicherheit bei KI miteinander verknüpft sind, zeigt für Amodei auch die Entstehungsgeschichte von GPT-2 und GPT-3 bei OpenAI. Diese Modelle seien ursprünglich als Nebenprodukt der Sicherheitsforschung entstanden. Amodei und seine späteren Mitgründer hatten die Methode des Reinforcement Learning from Human Feedback (RLHF) entwickelt, um KI-Modelle besser zu steuern. Da diese Technik bei den damaligen kleinen GPT-1-Modellen nicht funktionierte, sei die Skalierung zu GPT-2 und GPT-3 notwendig gewesen, um RLHF an komplexeren Modellen zu erproben und weiterzuentwickeln.
Eine Antwort mit 400 Token stößt etwa 1,14 Gramm CO2 aus (kein Ökostrom), ein Km mit dem Verbrenner etwa 200 g CO2. Also eine Anfrage mit ausführlicher Antwort ca 50m Fahrt.
Laut Google Verbrauch bei Reasoning Modellen aber bis zum 15 fachen.
G HOW WEAK-TO-STRONG GENERALIZATION FITS INTO ALIGNMENT
2412.06769v2.pdf
Das wirds
https://the-decoder.de/google-deepmind-bereitet-den-naechsten-moeglichen-ki-durchbruch-vor/
Alpha zero mit LLM Kombination
Verhältnis von Trainingsdaten zu Parametern/Neuronen, AI Chinchilla