chatGPT（https://chat.openai.com/chat）が世界を席巻しているので、思うところについて整理します。

　私はDeep Learningへの期待感から、2017年頃から主に自然言語処理（以下、NLP）の可能性について探るため、色々とウォッチしてきました。具体的には、yans(NLP若手の会)、松尾研のDeep Learning基礎講座に参加したり、JDLAのGeneralist検定や、Engineering資格などを取得したりしていました。

　一方で、ウォッチする中で、NLPについては言語の意味理解というシンギュラリティのようなものには程遠いという実感を得たため、最近はローキーでウォッチングに切り替えていました。

　そう、chatGPTが登場するまでは。

世の中の動き

chatGPTの登場

　chatGPTは、Open AI（MSから多額の出資を受けている）が、2022年11月30日に公開したGPT-3をベースにした会話応答サービスで、当初は無料で使えるものでした。2023年2月19日現在は$20/monthのプランが存在し、無料プランはアクセス数が少ない場合にしか繋がらなくなっています。

Big Techの動き

　Open AIに出資しているMicrosoftは、自社製品に順次chatGPTの機能を載せていくと述べ、GoogleはchatGPTを驚異として"Code Red"を出し、対抗馬として対話AI "Bard"を一般公開しました。

日本国内の意見

日経ではchatGPTをどう見るか、東大・松尾先生、SONY・北野さんなどの意見をまとめています。 www.nikkei.com
自民党では、AI戦略のあり方や政策提言のまとめを行っているようです。衆議院議員の塩崎さんのnoteに説明があり、内閣府やデジタル庁、松尾先生の資料などをダウンロード出来るようになっています。 note.com

思うところ

chatGPTの精度について

現在のchatGPTで用いられているのは、GPT-3.5モデルで、大まかには以下のとおりの手順で学習されていると、松尾先生の資料のスライド１８(20230217_AIの進化と日本の戦略_松尾研, https://note.com/api/v2/attachments/download/a29a2e6b5b35b75baf42a8025d68c175 )から見てとれます。

STEP1: 教師あり学習；チャット時の応答で適切なものを人（アノテーター）が考えて正解データセットを準備
STEP2: 報酬モデルの学習；アノテーターがモデルの回答に順位付けし、報酬モデルを学習させる
STEP3: 強化学習；上記STEP1,2で強化学習

アノテーターが準備しているので、くだけた表現でも正しく理解でき、AI倫理的な側面もカバーされているとのことです。スライド２９にあるように、専門知識を要する受け答えに対してのモデルが作れると便利ではありますね。

　ただ、専門分野への適用に関して、課題ではないかと思うところがあります。それは、「正解データセットの準備」です。科学の分野では、一度正しいと確認されたものは、普遍的に正しいとされるものが多いです。一方で、人が介在する、法律などは普遍的に正しいという訳ではありません。たとえば、米国などのコモンローの国では、判決がそのまま法律の代わりのような扱いを受け、「先月までは正しかったが今月からは正しくない」という事例も存在し得ます。『日々正解が変わるような分野で、学習させるのに十分な数の正解データセットを準備するまでに時間が掛かるし、どの段階で適用可能と判断するのか』など、非常に難しそうな問題があるように思います。

Big Tech以外はどう動くのか

　投資額を考えると、Microsoft, Google, Amazonなどはクラウドサービスを行っているため、膨大な計算機資源を時前で準備することも比較的容易だと思われます（計算機資源の在庫もあるかも知れないし、調達も比較的安価と想像）が、それでも大規模言語モデルを作るのに数百億円は掛かっているようです。　時期的なものを考えると、今から大規模言語モデルを作るには、それなりの時間が掛かるため、後追いの状態になってしまいます。それでも、世界の需要を考察して最適なインターフェースや、サービスとして何が成立するのかを考え出せれば可能性はあるのかも知れません。

　自前で作らないとすれば、Big Techが提供するものを利用するので、利用料が発生してしまいます。これは、YouTubeやApple Storeを見ると分かりますが、Big Techに資本が集中してしまう状態を長引かせることになりますので、なんとか国をあげて自前のものを作る方針で行って欲しいですね。