LLMの情報の宝庫 Reddit r/LocalLLaMA#

LLMの最新情報にキャッチアップするならまずはreddit/LocalLLaMAにアクセスしましょう。 多くのスレッドは英語で書かれていますので，ブラウザーの翻訳機能を駆使して情報を日本語訳して解読する作業が必要です。

日本語化できたらあとは各ユーザーの書き込み内容を把握して，貼られているリンクをブックマークして読んでいきましょう。

LLM業界では詐欺師みたいな連中も大勢おり，たとえばLlama3.1をファインチューニングして圧倒的な好成績を収めることに成功したと「自称」するReflection 70Bモデルというのもあったりしました。しかし，このReflection 70Bモデル騒ぎの1日後，2日後にはRedditユーザーが詐欺を暴きます。システムプロンプトの中身を解読し，このモデルで使われていたベースモデルを暴き，最終的にはベンチマークを行ってReflection 70Bモデルのスペックは本家と比べても大したことないという結論に至り，騒ぎは沈静化しました。

LLM業界で注目を集め，知名度を挙げ，更にはファンディングを呼び込みたいという人は大勢います。成功したいのです。 ですが，成功するモデルというのはひと握りであり，大半のモデルは大手メガテック企業の作成したモデルです。 個人がチューニングしたぐらいで最高品質のモデルに勝つことなんてほぼ不可能です。

このような詐欺事案を避けるという意味でもRedditを毎日チェックし，新しいスレッドやHotなスレッドに目を通す習慣を身に着けましょう。 情報キャッチアップという意味では最も役に立ちます。

玉石混交 X#

続いて情報収集に有益なのはXです。 Xで以下のようなキーワードを入れてみましょう。

• generative ai
• Large Language Model
• LLM
• ローカルLLM
• 大規模言語モデル
• 生成AI

多数のユーザーの書き込みを見ることができます。

書き込みの質の違いが一目瞭然なので誰の意見に耳を傾けるべきかすぐ分かるでしょう。 質が低い書き込みや，レスバや煽りが目的の書き込みを行っているユーザーも多いのがXの特徴です。 そういうユーザーはミュートすることでレスを見ないですみます。

論文ならarXiv.org#

arXiv.org (注: 日本語読みはアーカイブ)はLLM業界で最も権威ある論文公開サイトです。 コーネル大学図書館が運営する旧ロスアラモス国立研究所が母体となっている論文サイトです。

活発に論文が投稿されており，特に大規模言語モデル関連の黎明期の論文から最新の論文までありとあらゆる情報が公開されており，読み飽きることがありません。 これもDeepLやブラウザー翻訳などを駆使して，英語から日本語に翻訳する必要があります。

日本語に翻訳できたらあとはすんなり理解できるでしょう。

必読論文集ならイリヤ・サツカバー40選#

元OpenAI幹部であるイリヤ・サツカバー氏が「これらの40の論文を読めば90%の問題は解決できる」と言ってピックアップしたのが以下のサツカバー30選です。出典: Distilled AI

もともとOpen AIのサム・アルトマンCEOがイリヤ・サツカバーやグレッグ・ブロックマンとともにジョン・カーマックをOpen AIに誘い込もうとして開いたYC 120 カンファレンス(2019/1/29に開催された)の中で，技術開発担当だったイリヤ・サツカバーがジョン・カーマックに送ったリストがこれになります。曰く

「そこで私は、OpenAIの主任科学者であるイリヤ・スツケヴァーに読書リストを頼みました。彼は私に40ほどの研究論文のリストをくれて、『これらを全部学べば、今日重要なことの90%がわかる』と言いました。そして私はその通りにしました。私はそれらすべてを読み進め、頭の中ですべてが整理され始めました。」

コンピューターには詳しくてもAIに関してほとんど予備知識がなかったジョン・カーマックはこの論文集を読むことで，実際に必要な知識の9割を手に入れることができたそうです。もちろん自頭の良さがないと無理ですが。

LLMやAIを理解したければまずは論文全部を理解するのがスタート地点であることは間違いないでしょう。

ただし，この論文集は2019/1/29に開催されたYC 120以前の論文です。 ニューラルネットワークやマシンラーニングの域を超えて爆発的にLLMが進化したのは，2017年のGoogleの研究者が発表したAttention Is All You Needです。この爆発的進化のタイミングでどういう論文がどのような課題を克服するのに役立ったかを知る上で重要ですが，現在2024年までにすでに5年が経過していることを念頭に置いてください。

2019年から2024年までの5年間はLLMにとっての黄金期とも言うべき指数関数的な性能向上があった時期であり，論文だけでなく実践面でも進化が進んでいます。新しい論文も多数公開されていますので，共有していきます。