Merge pull request #463 from behrends/llm_in_context_et_al
llm in-context recall, mixtral 8x22b, llama3, rag-faithfulness (German translation)pull/474/head
Elvis Saravia
4 weeks ago
committed by
GitHub
commit
77d161620f
@ -0,0 +1,49 @@
|
||||
# Llama 3
|
||||
|
||||
import {Bleed} from 'nextra-theme-docs'
|
||||
|
||||
Meta hat kürzlich ihre neue Familie großer Sprachmodelle (LLMs), genannt Llama 3, [vorgestellt](https://llama.meta.com/llama3/). Diese Veröffentlichung umfasst vorab trainierte und anweisungsoptimierte Modelle mit 8 Milliarden und 70 Milliarden Parametern.
|
||||
|
||||
## Architekturdetails zu Llama 3
|
||||
|
||||
Hier eine Zusammenfassung der technischen Details von Llama 3:
|
||||
|
||||
- Es verwendet einen standardmäßigen Decoder-only-Transformer.
|
||||
- Der Wortschatz umfasst 128K Token.
|
||||
- Es wird auf Sequenzen von 8K Token trainiert.
|
||||
- Es wendet gruppierte Abfrageaufmerksamkeit (GQA) an.
|
||||
- Es ist auf über 15T Token vorab trainiert.
|
||||
- Es beinhaltet eine Nachtrainierung, die eine Kombination aus SFT, Ablehnungs-Stichprobenentnahme, PPO und DPO einschließt.
|
||||
|
||||
## Leistung
|
||||
|
||||
Auffällig ist, dass Llama 3 8B (anweisungsoptimiert) [Gemma 7B](https://www.promptingguide.ai/models/gemma) und [Mistral 7B Instruct](https://www.promptingguide.ai/models/mistral-7b) übertrifft. Llama 3 70 übertrifft deutlich [Gemini Pro 1.5](https://www.promptingguide.ai/models/gemini-pro) und [Claude 3 Sonnet](https://www.promptingguide.ai/models/claude-3), bleibt jedoch beim MATH-Benchmark etwas hinter Gemini Pro 1.5 zurück.
|
||||
|
||||
|
||||
*Quelle: [Meta AI](https://ai.meta.com/blog/meta-llama-3/)*
|
||||
|
||||
Die vorab trainierten Modelle übertreffen ebenfalls andere Modelle bei mehreren Benchmarks wie AGIEval (Englisch), MMLU und Big-Bench Hard.
|
||||
|
||||
|
||||
*Quelle: [Meta AI](https://ai.meta.com/blog/meta-llama-3/)*
|
||||
|
||||
## Llama 3 400B
|
||||
|
||||
Meta berichtete auch, dass sie ein Modell mit 400 Milliarden Parametern veröffentlichen werden, das derzeit noch trainiert wird und bald verfügbar sein soll! Es gibt auch Bemühungen um multimodale Unterstützung, mehrsprachige Fähigkeiten und längere Kontextfenster. Der aktuelle Checkpoint für Llama 3 400B (Stand 15. April 2024) liefert die folgenden Ergebnisse bei gängigen Benchmarks wie MMLU und Big-Bench Hard:
|
||||
|
||||
|
||||
*Quelle: [Meta AI](https://ai.meta.com/blog/meta-llama-3/)*
|
||||
|
||||
Die Lizenzinformationen für die Llama 3 Modelle können auf der [Modellkarte](https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md) gefunden werden.
|
||||
|
||||
## Ausführliche Bewertung von Llama 3
|
||||
|
||||
Hier folgt eine längere Bewertung von Llama 3:
|
||||
|
||||
<Bleed>
|
||||
<iframe width="100%"
|
||||
height="415px"
|
||||
src="https://www.youtube.com/embed/h2aEmciRd6U?si=m7-xXu5IWpB-6mE0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture"
|
||||
allowFullScreen
|
||||
/>
|
||||
</Bleed>
|
||||
@ -0,0 +1,28 @@
|
||||
# Mixtral 8x22B
|
||||
|
||||
Mixtral 8x22B ist ein neues offenes großes Sprachmodell (LLM), das von Mistral AI veröffentlicht wurde. Mixtral 8x22B wird als sparsames Mischmodell aus Experten charakterisiert, mit 39 Milliarden aktiven Parametern aus insgesamt 141 Milliarden Parametern.
|
||||
|
||||
## Fähigkeiten
|
||||
|
||||
Mixtral 8x22B wurde entwickelt, um ein kosteneffizientes Modell zu sein, mit Fähigkeiten, die mehrsprachiges Verständnis, mathematisches Denken, Codegenerierung, native Funktionsaufrufunterstützung und eingeschränkte Ausgabeunterstützung umfassen. Das Modell unterstützt eine Kontextfenstergröße von 64000 (64K) Token, was eine leistungsstarke Informationsabrufung bei großen Dokumenten ermöglicht.
|
||||
|
||||
Mistral AI behauptet, dass Mixtral 8x22B eines der besten Leistungs-Kosten-Verhältnisse unter den Community-Modellen bietet und aufgrund seiner sparsamen Aktivierungen deutlich schnell ist.
|
||||
|
||||
|
||||
*Quelle: [Mistral AI Blog](https://mistral.ai/news/mixtral-8x22b/)*
|
||||
|
||||
## Ergebnisse
|
||||
|
||||
Gemäß den [offiziell berichteten Ergebnissen](https://mistral.ai/news/mixtral-8x22b/) übertrifft Mixtral 8x22B (mit 39 Milliarden aktiven Parametern) andere Spitzenmodelle wie Command R+ und Llama 2 70B in mehreren Denk- und Wissensbenchmarks wie MMLU, HellaS, TriQA, NaturalQA unter anderen.
|
||||
|
||||
|
||||
*Quelle: [Mistral AI Blog](https://mistral.ai/news/mixtral-8x22b/)*
|
||||
|
||||
Mixtral 8x22B übertrifft alle offenen Modelle bei Programmier- und Mathematikaufgaben, wenn es anhand von Benchmarks wie GSM8K, HumanEval und Math bewertet wird. Es wird berichtet, dass Mixtral 8x22B Instruct eine Punktzahl von 90% auf GSM8K (maj@8) erreicht.
|
||||
|
||||
|
||||
*Quelle: [Mistral AI Blog](https://mistral.ai/news/mixtral-8x22b/)*
|
||||
|
||||
Weitere Informationen zu Mixtral 8x22B und dessen Nutzung finden Sie hier: https://docs.mistral.ai/getting-started/open_weight_models/#operation/listModels
|
||||
|
||||
Das Modell wird unter einer Apache 2.0-Lizenz veröffentlicht.
|
||||
@ -0,0 +1,26 @@
|
||||
# LLM In-Context Recall hängt vom Prompt ab
|
||||
|
||||
import {Bleed} from 'nextra-theme-docs'
|
||||
|
||||
<Bleed>
|
||||
<iframe width="100%"
|
||||
height="415px"
|
||||
src="https://www.youtube.com/embed/2cNO76lIZ4s?si=tbbdo-vnr56YQ077" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture"
|
||||
allowFullScreen
|
||||
/>
|
||||
</Bleed>
|
||||
|
||||
Dieses neue [Paper von Machlab und Battle (2024)](https://arxiv.org/abs/2404.08865) analysiert die In-Context Recall-Leistung verschiedener LLMs anhand mehrerer Nadel-im-Heuhaufen-Tests.
|
||||
|
||||
Es zeigt, dass verschiedene LLMs Fakten auf unterschiedlichen Längen und in verschiedener Tiefe erinnern. Es stellt fest, dass die Recall-Leistung eines Modells erheblich durch kleine Änderungen im Prompt beeinflusst wird.
|
||||
|
||||
|
||||
*Quelle: [Machlab und Battle (2024)](https://arxiv.org/abs/2404.08865)*
|
||||
|
||||
Darüber hinaus kann das Zusammenspiel zwischen Prompt-Inhalt und Trainingsdaten die Antwortqualität verschlechtern.
|
||||
|
||||
Die Recall-Fähigkeit eines Modells kann durch Vergrößerung, Verbesserung des Attention-Mechanismus, das Ausprobieren verschiedener Trainingsstrategien und das Anwenden von Fine-Tuning verbessert werden.
|
||||
|
||||
Wichtiger praktischer Tipp aus dem Paper: „Die fortlaufende Bewertung wird die Auswahl von LLMs für individuelle Anwendungsfälle weiter informieren, ihre Wirkung und Effizienz in realen Anwendungen maximieren, da die Technologie weiterhin fortschreitet.“
|
||||
|
||||
Die wichtigsten Erkenntnisse aus diesem Paper sind die Bedeutung einer sorgfältigen Gestaltung des Prompts, die Einrichtung eines kontinuierlichen Bewertungsprotokolls und das Testen verschiedener Modellverbesserungsstrategien, um Recall und Nutzen zu verbessern.
|
||||
@ -0,0 +1,26 @@
|
||||
# Wie zuverlässig sind RAG-Modelle?
|
||||
|
||||
import {Bleed} from 'nextra-theme-docs'
|
||||
|
||||
<Bleed>
|
||||
<iframe width="100%"
|
||||
height="415px"
|
||||
src="https://www.youtube.com/embed/eEU1dWVE8QQ?si=b-qgCU8nibBCSX8H" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture"
|
||||
allowFullScreen
|
||||
/>
|
||||
</Bleed>
|
||||
|
||||
Dieses neue Paper von [Wu et al. (2024)](https://arxiv.org/abs/2404.10198) zielt darauf ab, das Kräftemessen zwischen den RAG-Modellen und der internen Priorisierung von LLMs zu quantifizieren.
|
||||
|
||||
Es konzentriert sich dabei auf GPT-4 und andere LLMs bei der Beantwortung von Fragen zur Analyse.
|
||||
|
||||
Es wurde festgestellt, dass das Bereitstellen korrekter abgerufener Informationen die meisten Fehler des Modells korrigiert (94% Genauigkeit).
|
||||
|
||||
|
||||
*Quelle: [Wu et al. (2024)](https://arxiv.org/abs/2404.10198)*
|
||||
|
||||
Wenn die Dokumente mehr falsche Werte enthalten und das interne Priorisieren des LLM schwach ist, neigt das LLM eher dazu, falsche Informationen wiederzugeben. Es wurde jedoch festgestellt, dass die LLMs widerstandsfähiger sind, wenn sie eine stärkere Vorprägung haben.
|
||||
|
||||
Das Paper berichtet auch, dass „je mehr die modifizierte Information von der Vorprägung des Modells abweicht, desto unwahrscheinlicher ist es, dass das Modell sie bevorzugt.“
|
||||
|
||||
Viele Entwickler und Unternehmen setzen RAG-Systeme in der Produktion ein. Diese Arbeit hebt die Bedeutung der Risikobewertung bei der Verwendung von LLMs hervor, die verschiedene Arten von Kontextinformationen enthalten können, die unterstützende, widersprüchliche oder völlig inkorrekte Informationen enthalten können.
|
||||
Loading…
Reference in New Issue