Google vs OpenAI vs OpenSource

TLDR: Es sieht nicht gut für Google und auch nicht für OpenAI aus.

Die Tage, der Zeitpunkt an dem dieser Artikel geschrieben wurde ist der 7. Mai 2023, wurde ein Paper von Google geleakt, was ein paar sehr spannende Einblicke gibt. Es gibt einen spannenden Überblick, was dieses Anfang 2023 bei LLM passiert ist und wie Google die Sache sieht.

Der Kern des Papers ist, dass, während OpenAI und Google weiterhin um den Aufbau der leistungsstärksten Sprachmodelle beschädigt sind, ihre Bemühungen durch die Arbeit, in der Open-Source-Community schnell in den Schatten gestellt werden.

Aktuell haben Großen noch die Nase vorn, aber die Open-Source-Modelle sind schneller, anpassbarer, privater und Schritt für Schritt leistungsfähiger. Sie machen Dinge mit 100 $ und 13 Milliarden Parameter, mit denen Google und Co mit 10 Millionen $ und 540 Milliarden Parameter zu kämpfen haben. Und sie tun dies in Wochen, nicht in Monaten. Die großen Modelle sind plötzlich kein Fortschritt, sondern ein riesiger Klotz am beim.

Weiterhin kommt dazu, dass die Google in Co versuchen im Geheimen zu arbeiten, während in der Open Source in sehr intensiver Austausch und sehr viele Experimente gleichzeitig laufen. Es folgte eine enorme Flut von Innovation, mit nur wenigen Tagen zwischen den großen Entwicklungen.

Die Zeitleiste gibt eine grobe Übersicht, was seit der Veröffentlichung von Metas LLaMa und dem Leak der Meta #LLaMa Modellgewichte passierte.

• 24. Februar 2023: Meta startet LLaMA, gibt jedoch lediglich den Code, nicht die Gewichtungen frei.
• 3. März 2023: Das Unvermeidliche geschieht. LLaMA-Rohmodelldaten werden öffentlich und treiben die Innovationsrate am .
• 12. März 2023: RasPi-Portierung des LLaMA-Modells.
• 13. März 2023: Feinabstimmung auf einem Laptop. Stanford veröffentlicht Alpaca, eine auf LLaMA basierende Finetuning-Lösung.
• 18. März 2023: Jetzt ist es schnell . Verbesserung der Leistung von LLaMA auf MacBook CPUs.
• 19. März 2023: Das 13B-Modell Vicuna erreicht “Gleichheit” mit Bard.
• 25. März 2023: Einführung von GPT4All auf Basis von als Nomic for 100$ Trainingskosten.
• 28. März 2023: Open-Source-GPT-3 veröffentlicht, basierend auf Chinchilla
• 28. März 2023: Multimodal Training in einer Stunde durch PEFT-Technik.
• 3. April 2023: Einführung von Koala, Menschen können keinen Unterschied zwischen einem 13B Open Model und ChatGPT erkennen. Trainingskosten 100$
• 15. April 2023: Open Source auf ChatGPT-Niveau.Open Assistant startet ein Modell, das Modell fast genauso häufig wie #ChatGPT als gut bewerten.

Das Dokument selbst ist voller spannender Zitate und Links und eine Leseempfehlung.