歴史

Transformer 論文

トランスフォーマーろんぶん

2017 年公開の "Attention Is All You Need"。現代 LLM の起点となった論文です。

体験区分：調査ベース推奨読者レベル：Level 3

Attention だけで文章を処理する Transformer を提案した論文です。翌年に BERT・GPT-1 が登場し、LLM ブームの土台になっています。

「現代 AI の起点」として技術記事や書籍で参照されます。ChatGPT や Claude の説明で「Transformer ベース」と出てきたら、この論文がもとです。

タイムライン

2026.04·ready

「Transformer 論文が 2017 年の起点で、BERT や GPT もここから派生したんですよね。」

Transformer 論文の見方

517

この用語の見どころ

役割

現代 LLM のアーキテクチャを定義した学術論文の起点です。

うれしさ

この 1 本で RNN から Transformer へのシフトが起きました。

注意点

論文自体は翻訳タスク向けで、LLM への応用は後から広がりました。

どこで役立つか

AI の歴史的文脈を理解したいときの最初の参照点になります。

はじめに

タイトルと 2017 年公開という事実を押さえるだけで十分です。

深掘り先

Transformer（J-13）、Attention（J-17）、LLM（J-14）

非エンジニアのつまずき

私のコメント

開発フローでの位置

論文公開（2017-06）— Attention だけの新アーキテクチャを提案。

→

BERT / GPT-1（2018 年）— 事前学習モデルに応用され精度向上。

→

GPT-3（2020 年）— 大規模化で生成の質が商用レベルに。

→

ChatGPT（2022 年）— 一般公開で LLM が社会に浸透。

→

LLM 全盛（2023 年〜）— Claude・Gemini も Transformer を基盤に。