LLMとGPTシリーズ進化の歴史まとめ

ここでは時系列にChatGPT関係の話題をまとめています。（随時更新）

ニュースのキャッチアップにご活用ください。

2013年

Word2Vec: 単語埋め込み技術が登場し、単語の意味をベクトル形式で表現することが可能に​​。

2014年

RNNとAttention Mechanism: シーケンス間の依存関係を捉えるためのアテンションメカニズムが導入され、NLPの性能が向上​。

2017年

Transformerモデル: 「Attention is All You Need」という論文で発表され、効率的なシーケンス処理が可能に​。

2018年

BERT: Googleが発表。双方向の文脈理解が可能になり、NLPタスクで画期的な性能向上​。

ELMo: Allen Institute for AIが発表。文脈に基づいた単語表現を生成​。

GPT-1: OpenAIが発表。トランスフォーマーアーキテクチャを使用し、初の大規模事前学習型モデル​。

2019年

GPT-2: OpenAIが発表。1.5億パラメータを持ち、事前学習とファインチューニングで高品質なテキスト生成​。

2020年

T5: Googleが発表。すべてのNLPタスクをテキスト変換問題として統一的に処理​​。

GPT-3: OpenAIが発表。1750億パラメータを持ち、自然言語生成能力が飛躍的に向上​​。

2021-2023年

GPT-3.5一般公開（2022年11月）

LaMDA: Googleが開発。対話型アプリケーション向けモデル。

DALL·E, CLIP: OpenAIが開発。テキストから画像生成や画像理解が可能​​。

GPT-4: 性能向上と応用範囲の拡大​​。

2024年

Claude 3: Anthropicが開発。多言語対応と画像処理機能​​。

Gemini: Googleの最新モデル。テキスト、画像、音声、ビデオデータをネイティブにサポート​。

Mistral 7B: フランスのMistralが開発。小型高性能モデル​。

GPT-4omni (GPT-4o): 発表時現在最新のGPTモデル。マルチモーダルタスクに最適化され、効率性とスケーラビリティが強化されている。また、安全機構と倫理的配慮が強化されている​​。

ChatGPT４o－mini（2024.7月）

ChatGPTユーザーが２億人を突破（2024.08.29）

参考：https://hatchworks.com/blog/gen-ai/large-language-models-guide/ https://mobile-gpt.io/chatgpt-blog/a-brief-history-of-the-gpt-series-from-gpt-1-to-gpt-4-175ba389e4cc https://aimagazine.com/articles/2024-what-comes-next-for-ai-and-large-language-models https://mindsdb.com/blog/navigating-the-llm-landscape-a-comparative-analysis-of-leading-large-language-models https://zapier.com/blog/best-llm/ https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/　など2024.08.03参照