1877 文字
9 分
LLM Japanのご紹介
2024-11-16

LLM Japan株式会社#

LLM Japanではニューラルネットワーク研究から大規模言語モデルに至るまでマシンラーニングについて研究開発を行っています。

LLM(大規模言語モデル)#

ChatGPT-3.5の登場以降,大規模言語モデルが爆発的に普及し始めてからまだわずか数年ですが,すでに多くの産業分野で活用が進んでいます。 わずか2−3年前まではとても使い物にならないと思っていた方も,昨今の最新モデル(OpenAI o1やMeta Llama3.1-405BやQwen2.5-72Bなど)の知識の深さや能力の高さには圧倒されていると思います。

LLMはまだ誕生してから魔もない技術ですので未成熟な点も多々ありますが,多くのエンジニアが世界中で日夜開発を行い欠点を克服し,「使える」レベルの製品が多数登場しています。 特にLLM開発で特徴的なのはオープンソースコミュニティーの貢献度の高さです。

オープンソースコミュニティ#

LLM開発のきっかけを作ったのはOpenAIやGoogleの研究者たちですが,それが普及する下地を作ったのは

  • Georgi Gerganov: llama.cppの生みの親
  • AUTOMATIC1111: 画像生成AIプラットフォーム Stable Diffusion Web UI
  • lllyasviel: Stable Diffusion Forgeの生みの親
  • comfyanonymous: ComfyUIの生みの親 といった開発者や開発チームの影響が大きく,さらにこれに加えて,
  • HuggingFace: AIモデルリポジトリ
  • Civitai: AIモデルの中でも画像生成モデルに特化したリポジトリ といったLLMやAIコミュニティーの下地となるサイトの存在のおかげです。

これらのソフトウェア製品の下地となっているのはGithubの成功によって開発者コミュニティーが成熟したというのが大きいです。 Githubでは誰もがCommitできますが,共同開発リポジトリにマージするためにはlinterによるフォーマットチェックや単体テストツールによる品質チェックなどを経る必要があります。 オープンソースで多数が共同でソースコードをいじり,コンフリクトやデグレードなしにリリースできる体制が出来上がったからこそ,LLMで当たり前のように用いられている上記のソフトウェア製品群が世に登場したと言えるでしょう。

  • Gradio: Stable Diffusion Web UIなどのWebUI開発フレームワーク
  • Electron: デスクトップアプリ開発環境 などのツールの充実も製品のプロトタイプを早期にリリースできる体制が構築されている主要な要因です。

一人の開発者が100%バックエンドからフロントエンドまで開発しなくても,オープンソースで公開されているモジュールを活用することで80点ぐらいの製品は作れるようになったというわけです。 その結果,ソフトウェアエンジニアは主要なコアとなる部分の開発に専念でき,またテストツールを活用することでクオリティを落とすことなく進化の早いLLMプラットフォームを次々にアップデートできているというわけです。

昔からフリーウェアやシェアウェアという名前で個人開発や少人数開発が行われることはありましたが,基本は個人中心でした。 でも今や世界中からコントリビューターが集まってバグだしや修正が24時間体制で行われています。

このオープンソースコミュニティでの共同開発による正の連鎖が,昨今のLLMの異常な進化速度に寄与しているのは疑いようがありません。

当社の試み#

当社ではLLMや生成AIといったテクノロジーが,テレビやスマートフォンのように身近な存在に感じられるようにお膳立てする製品開発に取り組んでいきます。 新発見の喜びや,新製品開発の興奮,運悪く不具合を出してしまった場合の焦りや切迫感といった感情を皆様と共有できればと思います。

デジタルは陳腐化する#

LLMやAIの登場によって明確になったことが一つあります。

デジタル化されているもの,デジタル化できるもの,すべてAIに取って代わられる

デジタル化(トークナイズ)でき,一定の規則性を有するものは,AIが人間よりも高い処理能力を発揮する

これは画像生成AI(Stable DiffusionやFlux1.devなどのモデル)が絵師を超え始めている事実や,Qwen2.5-Coderのように30万円のグラフィックボード1枚で動くモデルが一流のプログラマーのスキルを部分的に超え始めている事実からも実証されつつあります。

人間より優れたAI#

質的にも量的にもAIが人間を圧倒するであろう領域は以下の分野です。

  • 文章作成
  • 言語の翻訳
  • 音楽作成
  • 絵画作成
  • 映像作成
  • プログラムの生成やバグの原因箇所特定
  • 病気や疾患の診断
  • アミノ酸の設計
  • タンパク質の設計

これらの分野に共通する要素は以下の2つ。

  • 「デジタル化できる」
  • 自然言語の文法やプログラミング言語の文法やアミノ酸配列など「一定の規則性がある」

デジタル化と規則性の2つはAIが「学習」し「答え合わせ」することで繰り返し強化学習を行うための不可欠な要素です。 そして学習でき,学習効果を測定できるならば,計算リソースをつぎ込めばいくらでも能力を高められます。

すでに画像生成の分野ではAIの生成する画像は質・量ともにPhotoshopやIllustratorを超えつつあります。 もちろん細部に着目すれば粗はありますが,ど素人でもプロンプトを叩くだけで一見プロ級のカメラマン並の写真やエフェクトを再現できるのは事実であり,プロとAIの差も詰まりつつあります。

人間に残されたもの#

では人間に残っている最大の要素はなにか? それはみなさんもご存知の「感情」でしょう。

楽しい・情けない・嬉しい・悲しい・寂しい・悔しい・羨ましい・憎たらしい・痛い・辛い・幸せ・感動・涙・吐き気・混沌

こういう複雑な感情だけは人間にしか備わっていないものであり,AIが獲得するのは最後の最後でしょう。もしかするとAIは一生感情を理解することは不可能かもしれません。 感情をエンコードしデコードし学習するのが困難なのは,感情こそ最も「規則性」に欠けるものだからです。

規則性のなさが人間の尊さであり美しさである

感情という不規則で再現性のないものが人間の価値である

このことを胸に当社ではLLMを用いた製品開発に邁進していきます。 みなさんと一緒にAIやLLMの価値を高めつつ,身近な人とのつながりの価値を再認識する。

これが当社の夢であり,目指す山の頂です。

LLM Japanのご紹介
https://llmjapan.com/posts/introduction/
作者
さくらAI
公開日
2024-11-16
ライセンス
CC BY-NC-SA 4.0