Skip to content
LLM Japan

LLM必読情報

LLM の情報の宝庫

Reddit r/LocalLLaMA

LLM の最新情報にキャッチアップするならまずはreddit/LocalLLaMAにアクセスしましょう。 多くのスレッドは英語で書かれていますので，ブラウザーの翻訳機能を駆使して情報を日本語訳して解読する作業が必要です。

日本語化できたらあとは各ユーザーの書き込み内容を把握して，貼られているリンクをブックマークして読んでいきましょう。

LLM 業界では詐欺師みたいな連中も大勢おり，たとえば Llama3.1 をファインチューニングして圧倒的な好成績を収めることに成功したと「自称」する Reflection 70B モデルというのもあったりしました。しかし，この Reflection 70B モデル騒ぎの 1 日後，2 日後には Reddit ユーザーが詐欺を暴きます。システムプロンプトの中身を解読し，このモデルで使われていたベースモデルを暴き，最終的にはベンチマークを行って Reflection 70B モデルのスペックは本家と比べても大したことないという結論に至り，騒ぎは沈静化しました。

LLM 業界で注目を集め，知名度を挙げ，更にはファンディングを呼び込みたいという人は大勢います。成功したいのです。 ですが，成功するモデルというのはひと握りであり，大半のモデルは大手メガテック企業の作成したモデルです。 個人がチューニングしたぐらいで最高品質のモデルに勝つことなんてほぼ不可能です。

このような詐欺事案を避けるという意味でも Reddit を毎日チェックし，新しいスレッドや Hot なスレッドに目を通す習慣を身に着けましょう。 情報キャッチアップという意味では最も役に立ちます。

X

主要 LLM 開発メーカーの公式情報収集ならXが最速です。 Open AI, Google Gemini, Meta Llama, DeepSeek, Alibaba Qwen などの公式リリースは要チェック。

X で以下のようなキーワードを入れてみましょう。

  • generative ai
  • Large Language Model
  • LLM
  • ローカル LLM
  • 大規模言語モデル
  • 生成 AI

多数のユーザーの書き込みを見ることができます。

書き込みの質の違いが一目瞭然なので誰の意見に耳を傾けるべきかすぐ分かるでしょう。 質が低い書き込みや，レスバや煽りが目的の書き込みを行っているユーザーも多いのが X の特徴です。 そういうユーザーはミュートすることでレスを見ないですみます。

arXiv.org

論文なら間違いなくarXiv.org (注: 日本語読みはアーカイブ)が突出して情報量が多いです。コーネル大学図書館が運営する旧ロスアラモス国立研究所が母体となっている論文サイトです。

活発に論文が投稿されており，特に大規模言語モデル関連の黎明期の論文から最新の論文までありとあらゆる情報が公開されており，読み飽きることがありません。 これも DeepL やブラウザー翻訳などを駆使して，英語から日本語に翻訳する必要があります。

日本語に翻訳できたらあとはすんなり理解できるでしょう。

イリヤ・サツカバー 40 選

元 OpenAI 幹部であるイリヤ・サツカバー氏が「これらの 40 の論文を読めば 90%の問題は解決できる」と言ってピックアップしたのが以下のサツカバー 30 選です。出典: Distilled AI

もともと Open AI のサム・アルトマン CEO がイリヤ・サツカバーやグレッグ・ブロックマンとともにジョン・カーマックを Open AI に誘い込もうとして開いたYC 120 カンファレンス(2019/1/29 に開催された)の中で，技術開発担当だったイリヤ・サツカバーがジョン・カーマックに送ったリストがこれになります。曰く

「そこで私は、OpenAI の主任科学者であるイリヤ・スツケヴァーに読書リストを頼みました。彼は私に 40 ほどの研究論文のリストをくれて、『これらを全部学べば、今日重要なことの 90%がわかる』と言いました。そして私はその通りにしました。私はそれらすべてを読み進め、頭の中ですべてが整理され始めました。」

コンピューターには詳しくても AI に関してほとんど予備知識がなかったジョン・カーマックはこの論文集を読むことで，実際に必要な知識の 9 割を手に入れることができたそうです。もちろん自頭の良さがないと無理ですが。

LLM や AI を理解したければまずは論文全部を理解するのがスタート地点であることは間違いないでしょう。

ただし，この論文集は 2019/1/29 に開催された YC 120 以前の論文です。 ニューラルネットワークやマシンラーニングの域を超えて爆発的に LLM が進化したのは，2017 年の Google の研究者が発表したAttention Is All You Needです。この爆発的進化のタイミングでどういう論文がどのような課題を克服するのに役立ったかを知る上で重要ですが，現在 2024 年までにすでに 5 年が経過していることを念頭に置いてください。

2019 年から 2024 年までの 5 年間は LLM にとっての黄金期とも言うべき指数関数的な性能向上があった時期であり，論文だけでなく実践面でも進化が進んでいます。新しい論文も多数公開されていますので，共有していきます。