Google PaLM 2 AI モデルとそれがもたらす新機能についてすべて学びましょう。 GPT-4とPaLM 2についても詳しく比較しました。
https://it-kiso.com/tech/ai/Google%20PaLM%202%20AI%20%E3%83%A2%E3%83%87%E3%83%AB%3A%20%E7%9F%A5%E3%81%A3%E3%81%A6%E3%81%8A%E3%81%8F%E3%81%B9%E3%81%8D%E3%81%93%E3%81%A8%E3%81%99%E3%81%B9%E3%81%A6/
Google I/O 2023 で、検索大手はついに最新の汎用大規模言語モデルである PaLM 2 を発表しました。 PaLM 2 は、Google Generative AI Search、Google Docs と Gmail の Duet AI、Google Bard など、現在複数の Google 製品が構築されている基盤です。しかし、Google PaLM 2 AI モデルとは一体何なのでしょうか? GPT-4よりも優れているのでしょうか？プラグインはサポートされていますか?すべての質問に答えるには、Google がリリースした PaLM 2 AI モデルに関する詳細な説明を参照してください。 Google の PaLM 2 AI モデルとは何ですか? PaLM 2 は、Google がリリースした最新の大規模言語モデル (LLM) であり、 高度な推論、コーディング、数学 において高度な能力を備えています。多言語にも対応しており、100以上の言語をサポートしています。 PaLM 2 は、2022 年に発売された以前の Pathways Language Model (PaLM) の後継です。 PaLM の最初のバージョンは 5,400 億のパラメータでトレーニングされ、最大規模の LLM の 1 つになりました。しかし、2023 年に Google は、サイズははるかに小さいものの、競合他社よりも高速で効率的な PaLM 2 を考案しました。 PaLM 2の 92ページの技術レポート で、Googleはパラメータのサイズについて言及していないが、 TechCrunch の レポート によると、 PaLM 2モデルの1つは147億パラメータでしかトレーニングされておらず 、これはPaLM 1や他の競合モデルよりもはるかに少ない。 Twitter 上の一部の 研究者は 、最大の PaLM 2 モデルは 1,000 億個のパラメーターでトレーニングされる可能性が高いが、それでも競合モデルよりもはるかに低いと述べています。 参考までに、OpenAI の GPT-4 モデルは 1 兆の パラメーターでトレーニングされると言われていますが、これはまさに驚くべきことです。 GPT-4 モデルは PaLM 2 より少なくとも 10 倍大きいです。 Google はどのようにして PaLM 2 を小型化したのでしょうか? Google は 公式ブログ で、大きいほど必ずしも良いわけではなく、研究の創造性が優れたモデルを作成する鍵であると述べています。ここでの「研究の創造性」とは、Google がヒューマン フィードバックからの強化学習 (RLHF)、コンピューティング最適化スケーリング 、およびその他の新しい技術を指している可能性があります。 GoogleはPaLM 2でどのような研究創造性を採用しているのかを明らかにしていないが、同社は比較的小規模なモデルを使用しているにもかかわらず、より良い結果を得るために LoRA（低ランク適応） 、命令チューニング、高品質のデータセットを使用している可能性があるようだ。 全体として、PaLM 2 は、処理するパラメータが少ないため 、より高速で、比較的小型で、コスト効率が高い LLM モデルです。同時に、常識的な推論、より優れた論理解釈、高度な数学、多言語での会話、コーディングの習熟などの機能ももたらします。以上が PaLM 2 モデルの基本でした。次に、その機能について詳しく見ていきましょう。 PaLM 2 のハイライト機能は何ですか? 前述したように、PaLM 2 はより高速で効率性が高く、サービス コストが低くなります。それとは別に、いくつかの高度な機能も提供します。まず、PaLM 2 は常識的な推論に非常に優れています。実際、Google は、PaLM 2 の推論機能は GPT-4 と競合できる と述べています。 WinoGrande 常識テストでのテストでは、PaLM 2 のスコアは 90.2 でしたが、GPT-4 のスコアは 87.5 でした。 ARC-C テストでは、GPT-4 のスコアはワンランク高く、96.3 を達成しましたが、PaLM 2 のスコアは 95.1 でした。 DROP、StrategyQA、CSQA、その他いくつかの推論テストでは、PaLM 2 は GPT-4 よりも優れたパフォーマンスを示します。 Google's PaLM 2 AI Model reasoning capabilities 推論の評価 / 出典: Google の PaLM 2 テクニカル ペーパー それだけでなく、PaLM 2 は多言語能力により、他の言語の慣用句、詩、ニュアンスのある文章、さらにはなぞなぞを理解することができます。言葉の文字通りの意味を超えて、言葉の背後にある 曖昧で比喩的な意味を理解します 。これは、PaLM 2 がさまざまな言語の並列多言語テキストで事前トレーニングされているためです。さらに、高品質の多言語データのコーパスにより、PaLM 2 はさらに強力になります。その結果、翻訳やその他のアプリケーションは PaLM 2 ではるかに適切に動作します。 次に、そのコーディング機能について説明します。 Googleによれば、PaLM 2はパブリックドメインで入手可能な高品質のソースコードデータセットの大規模なコーパスで再びトレーニングされたという。その結果、Python、JavaScrupt、C、C++、さらには Prolog、Fortran、Verilog などの古い言語を含む 20 以上のプログラミング言語 がサポートされます。また、コードの生成、コンテキストを認識した提案の提供、ある言語から別の言語へのコードの翻訳、コメントだけで関数を追加することなどもできます。 PaLM 2 モデルは何ができるのですか? まず最初に、PaLM 2 はさまざまなユースケースに適応できるように構築されていると言わせてください。 Google は、PaLM 2 が Gecko、Otter、Bison、Unicorn の 4 つの異なるモデルで提供されると発表しました。ヤモリが最小でユニコーンが最大です。 Gecko は非常に軽量なので、完全にオフラインのスマートフォンでも実行できます。主力携帯電話では 1 秒あたり 20 トークンを処理 できます。これは 1 秒あたり約 16 ワードに相当します。すごいですね。アクティブなインターネット接続や強力なスペックを必要とせずに、スマートフォン上で実行できる AI 搭載のオンデバイス アプリケーションを想像してみてください。 それとは別に、 PaLM 2 を微調整して、ドメイン固有のモデルをすぐに作成することができます 。 Google はすでに Med-PaLM 2 を作成しています。これは、PaLM 2 をベースに微調整された医療特化の LLM で、米国医師免許試験形式の問題で「エキスパート」レベルのコンピテンシーを取得しています。 USMLE テストでは 85.4% の精度 を達成し、GPT-4 (84%) よりもさらに高くなりました。とはいえ、GPT-4 は汎用 LLM であり、医学知識に合わせて微調整されていないことに留意してください。 今後、Google は Med-PaLM 2 にマルチモーダル機能 を追加しました。 X線やマンモグラムなどの画像を分析し、専門の臨床医の意見に沿って結論を導き出すことができます。これは、世界中の遠隔地に切望されている医療アクセスをもたらすことができるため、非常に注目に値します。それに加えて、Google はサイバーセキュリティ分析と悪意のある脅威を即座に検出するための PaLM 2 の特殊バージョンである Sec-PaLM を開発しました。 PaLM 2 を搭載した Google 製品 これらはすべて、さまざまな分野や業界における PaLM 2 のさまざまな使用例です。個人消費者については、Gmail、Google ドキュメント、Google スプレッドシートの Google Bard、Google Generative AI Search、Duet AI を通じて PaLM 2 の動作を体験できます。 Google は最近、対話型 AI チャットボットである Bard を PaLM 2 に移行し、 180 か国 以上へのアクセスを開放しました。私たちの記事に従って、今すぐ Google Bard の使用方法を学ぶことができます。 Google's PaLM 2 AI Model グーグル吟遊詩人 Gmail、Google ドキュメント、スプレッドシート (Google はこれを Duet AI for Google Workspace と呼んでいます) で PaLM 2 を使用する場合、AI を活用した機能を利用するには 待機リスト に参加する必要があります。最後に、開発者向けに、Google は PaLM 2 モデルに基づく PaLM API をリリースし ました。今すぐ サインアップして、 製品で PaLM API を使用できます。 1 秒あたり 75 個を超えるトークンを生成でき、8,000 個のトークンのコンテキスト ウィンドウがあります。 PaLM 2 と GPT-4: AI モデルはどのように比較されますか? 機能を比較する前に、PaLM 2 が高速であることが 1 つ明らかです。つまり、複雑な推論の質問であっても、クエリにすばやく応答します。それだけではなく、デフォルトの応答に満足できない場合に備えて、一度に 3 つのドラフトが提供されます。したがって、効率とコンピューティングの観点から見ると、Google は OpenAI よりも 1 歩か 2 歩先を行っています。 Google Bard AI のすべての新機能については、こちらをご覧ください。 機能に関する限り、私たちは両方のモデルの推論スキルをテストしましたが、PaLM 2 を搭載した Google Bard はそのようなテストで真の威力を発揮します 。 3 つの推論の質問のうち、Bard は 3 つすべてに正解しましたが、ChatGPT-4 は 1 つの正解しか答えられませんでした。ある例では、バードの評価は間違っていましたが（幻覚のようでした）、どういうわけか正しい答えを出しました。 それとは別に、コーディング作業に関して、私が提供したコードのバグを見つけるように Bard に依頼しましたが、問題を修正するために長い返答があり、それは完全に間違っていたことが判明しました。しかし、ChatGPT-4 は、それ以上のプロンプトを表示することなく、即座にコーディング構文を特定し、エラーを発見し、コードを修正しました。 また、ダイクストラのアルゴリズムを Python で実装するタスクを両方のモデルに割り当てたところ、両方のモデルで エラーのないコードが生成されました 。両方をコンパイルしましたが、どの関数もエラーをスローしませんでした。とはいえ、ChatGPT-4 はいくつかの例を含むクリーンなコードを生成しますが、Bard はベアボーン機能のみを実装します。 Google PaLM 2 の制限事項 さて、限界が近づいてきましたが、ChatGPT プラグインが強力で、GPT-4 の機能をすぐに何マイルも強化できることはすでにわかっています。 コード インタープリター プラグイン を使用するだけで、ユーザーは ChatGPT でさらに多くのことを行うことができます。実際、Google もプラグインと同様の「ツール」を発表していますが、それらはまだ公開されておらず、現時点ではサードパーティのサポートも精彩を欠いているようです。同時に、OpenAI に対する開発者のサポートも膨大です。 次に、GPT-4 はマルチモーダル モデルであり、テキストと画像の両方を分析できます。マルチモダリティには、興味深い使用例が多数あります。 ChatGPT にグラフ、表、医療レポート、医療画像などを調査するよう依頼できます。はい、この機能はまだ ChatGPT に追加されていませんが、初期のデモを見たことがあり、非常に印象的でした。一方、 PaLM 2 はテキストのみを扱うため、マルチモーダル モデルではありません 。 検索大手はPaLM 2を微調整して確かにマルチモーダルなMed-PaLM 2を作成しましたが、一般公開されておらず、医療分野のみに限定されています。 Googleは、 Geminiと呼ばれる次世代モデルは画期的な機能を備えたマルチモーダルになると 述べているが、まだトレーニング中であり、リリースまでは数か月かかるという。 GoogleはBardにLensのサポートを提供すると約束しているが、それはAIを活用したビジュアルモデルと同じではない。 最後に、GPT-4 と比較して、 Google Bard は頻繁に幻覚を起こします ( ここでの例を参照してください 。Bard は PaLM AI モデルが OpenAI によって作成されたと考えています)。咄嗟に情報をでっち上げ、自信を持って虚偽の情報で返答する。 GPT-3 と GPT-3.5 にも同様の問題がありましたが、OpenAI は GPT-4 のリリースで幻覚を 40% 削減することに成功しました。 Google は同じ幻覚問題に「 大胆かつ責任を持って 」取り組む必要がある。 結論: PaLM 2 か GPT-4? 要約すると、Google の PaLM 2 AI モデルは、高度な推論、翻訳、多言語機能、数学、コーディングなどのいくつかの分野で向上しています。さらに、高速なパフォーマンスと低いサービスコストで小型のモデルを実行できるという追加の利点もあります。ただし、GPT-4 と同等の機能を実現するには、Google はマルチモダリティのサードパーティ ツール (プラグイン) を追加し、幻覚の問題に対処し、AI モデルを可能な限り開発者にとって使いやすいものにする必要があります。
PaLM 2 は、Google がリリースした最新の大規模言語モデル (LLM) であり、 高度な推論、コーディング、数学 において高度な能力を備えています。多言語にも対応しており、100以上の言語をサポートしています。 PaLM 2 は、2022 年に発売された以前の Pathways Language Model (PaLM) の後継です。 PaLM の最初のバージョンは 5,400 億のパラメータでトレーニングされ、最大規模の LLM の 1 つになりました。しかし、2023 年に Google は、サイズははるかに小さいものの、競合他社よりも高速で効率的な PaLM 2 を考案しました。 PaLM 2の 92ページの技術レポート で、Googleはパラメータのサイズについて言及していないが、 TechCrunch の レポート によると、 PaLM 2モデルの1つは147億パラメータでしかトレーニングされておらず 、これはPaLM 1や他の競合モデルよりもはるかに少ない。 Twitter 上の一部の 研究者は 、最大の PaLM 2 モデルは 1,000 億個のパラメーターでトレーニングされる可能性が高いが、それでも競合モデルよりもはるかに低いと述べています。 参考までに、OpenAI の GPT-4 モデルは 1 兆の パラメーターでトレーニングされると言われていますが、これはまさに驚くべきことです。 GPT-4 モデルは PaLM 2 より少なくとも 10 倍大きいです。 Google はどのようにして PaLM 2 を小型化したのでしょうか? Google は 公式ブログ で、大きいほど必ずしも良いわけではなく、研究の創造性が優れたモデルを作成する鍵であると述べています。ここでの「研究の創造性」とは、Google がヒューマン フィードバックからの強化学習 (RLHF)、コンピューティング最適化スケーリング 、およびその他の新しい技術を指している可能性があります。 GoogleはPaLM 2でどのような研究創造性を採用しているのかを明らかにしていないが、同社は比較的小規模なモデルを使用しているにもかかわらず、より良い結果を得るために LoRA（低ランク適応） 、命令チューニング、高品質のデータセットを使用している可能性があるようだ。 全体として、PaLM 2 は、処理するパラメータが少ないため 、より高速で、比較的小型で、コスト効率が高い LLM モデルです。同時に、常識的な推論、より優れた論理解釈、高度な数学、多言語での会話、コーディングの習熟などの機能ももたらします。以上が PaLM 2 モデルの基本でした。次に、その機能について詳しく見ていきましょう。 PaLM 2 のハイライト機能は何ですか? 前述したように、PaLM 2 はより高速で効率性が高く、サービス コストが低くなります。それとは別に、いくつかの高度な機能も提供します。まず、PaLM 2 は常識的な推論に非常に優れています。実際、Google は、PaLM 2 の推論機能は GPT-4 と競合できる と述べています。 WinoGrande 常識テストでのテストでは、PaLM 2 のスコアは 90.2 でしたが、GPT-4 のスコアは 87.5 でした。 ARC-C テストでは、GPT-4 のスコアはワンランク高く、96.3 を達成しましたが、PaLM 2 のスコアは 95.1 でした。 DROP、StrategyQA、CSQA、その他いくつかの推論テストでは、PaLM 2 は GPT-4 よりも優れたパフォーマンスを示します。 Google's PaLM 2 AI Model reasoning capabilities 推論の評価 / 出典: Google の PaLM 2 テクニカル ペーパー それだけでなく、PaLM 2 は多言語能力により、他の言語の慣用句、詩、ニュアンスのある文章、さらにはなぞなぞを理解することができます。言葉の文字通りの意味を超えて、言葉の背後にある 曖昧で比喩的な意味を理解します 。これは、PaLM 2 がさまざまな言語の並列多言語テキストで事前トレーニングされているためです。さらに、高品質の多言語データのコーパスにより、PaLM 2 はさらに強力になります。その結果、翻訳やその他のアプリケーションは PaLM 2 ではるかに適切に動作します。 次に、そのコーディング機能について説明します。 Googleによれば、PaLM 2はパブリックドメインで入手可能な高品質のソースコードデータセットの大規模なコーパスで再びトレーニングされたという。その結果、Python、JavaScrupt、C、C++、さらには Prolog、Fortran、Verilog などの古い言語を含む 20 以上のプログラミング言語 がサポートされます。また、コードの生成、コンテキストを認識した提案の提供、ある言語から別の言語へのコードの翻訳、コメントだけで関数を追加することなどもできます。 PaLM 2 モデルは何ができるのですか? まず最初に、PaLM 2 はさまざまなユースケースに適応できるように構築されていると言わせてください。 Google は、PaLM 2 が Gecko、Otter、Bison、Unicorn の 4 つの異なるモデルで提供されると発表しました。ヤモリが最小でユニコーンが最大です。 Gecko は非常に軽量なので、完全にオフラインのスマートフォンでも実行できます。主力携帯電話では 1 秒あたり 20 トークンを処理 できます。これは 1 秒あたり約 16 ワードに相当します。すごいですね。アクティブなインターネット接続や強力なスペックを必要とせずに、スマートフォン上で実行できる AI 搭載のオンデバイス アプリケーションを想像してみてください。 それとは別に、 PaLM 2 を微調整して、ドメイン固有のモデルをすぐに作成することができます 。 Google はすでに Med-PaLM 2 を作成しています。これは、PaLM 2 をベースに微調整された医療特化の LLM で、米国医師免許試験形式の問題で「エキスパート」レベルのコンピテンシーを取得しています。 USMLE テストでは 85.4% の精度 を達成し、GPT-4 (84%) よりもさらに高くなりました。とはいえ、GPT-4 は汎用 LLM であり、医学知識に合わせて微調整されていないことに留意してください。 今後、Google は Med-PaLM 2 にマルチモーダル機能 を追加しました。 X線やマンモグラムなどの画像を分析し、専門の臨床医の意見に沿って結論を導き出すことができます。これは、世界中の遠隔地に切望されている医療アクセスをもたらすことができるため、非常に注目に値します。それに加えて、Google はサイバーセキュリティ分析と悪意のある脅威を即座に検出するための PaLM 2 の特殊バージョンである Sec-PaLM を開発しました。 PaLM 2 を搭載した Google 製品 これらはすべて、さまざまな分野や業界における PaLM 2 のさまざまな使用例です。個人消費者については、Gmail、Google ドキュメント、Google スプレッドシートの Google Bard、Google Generative AI Search、Duet AI を通じて PaLM 2 の動作を体験できます。 Google は最近、対話型 AI チャットボットである Bard を PaLM 2 に移行し、 180 か国 以上へのアクセスを開放しました。私たちの記事に従って、今すぐ Google Bard の使用方法を学ぶことができます。 Google's PaLM 2 AI Model グーグル吟遊詩人 Gmail、Google ドキュメント、スプレッドシート (Google はこれを Duet AI for Google Workspace と呼んでいます) で PaLM 2 を使用する場合、AI を活用した機能を利用するには 待機リスト に参加する必要があります。最後に、開発者向けに、Google は PaLM 2 モデルに基づく PaLM API をリリースし ました。今すぐ サインアップして、 製品で PaLM API を使用できます。 1 秒あたり 75 個を超えるトークンを生成でき、8,000 個のトークンのコンテキスト ウィンドウがあります。 PaLM 2 と GPT-4: AI モデルはどのように比較されますか? 機能を比較する前に、PaLM 2 が高速であることが 1 つ明らかです。つまり、複雑な推論の質問であっても、クエリにすばやく応答します。それだけではなく、デフォルトの応答に満足できない場合に備えて、一度に 3 つのドラフトが提供されます。したがって、効率とコンピューティングの観点から見ると、Google は OpenAI よりも 1 歩か 2 歩先を行っています。 Google Bard AI のすべての新機能については、こちらをご覧ください。 機能に関する限り、私たちは両方のモデルの推論スキルをテストしましたが、PaLM 2 を搭載した Google Bard はそのようなテストで真の威力を発揮します 。 3 つの推論の質問のうち、Bard は 3 つすべてに正解しましたが、ChatGPT-4 は 1 つの正解しか答えられませんでした。ある例では、バードの評価は間違っていましたが（幻覚のようでした）、どういうわけか正しい答えを出しました。 それとは別に、コーディング作業に関して、私が提供したコードのバグを見つけるように Bard に依頼しましたが、問題を修正するために長い返答があり、それは完全に間違っていたことが判明しました。しかし、ChatGPT-4 は、それ以上のプロンプトを表示することなく、即座にコーディング構文を特定し、エラーを発見し、コードを修正しました。 また、ダイクストラのアルゴリズムを Python で実装するタスクを両方のモデルに割り当てたところ、両方のモデルで エラーのないコードが生成されました 。両方をコンパイルしましたが、どの関数もエラーをスローしませんでした。とはいえ、ChatGPT-4 はいくつかの例を含むクリーンなコードを生成しますが、Bard はベアボーン機能のみを実装します。 Google PaLM 2 の制限事項 さて、限界が近づいてきましたが、ChatGPT プラグインが強力で、GPT-4 の機能をすぐに何マイルも強化できることはすでにわかっています。 コード インタープリター プラグイン を使用するだけで、ユーザーは ChatGPT でさらに多くのことを行うことができます。実際、Google もプラグインと同様の「ツール」を発表していますが、それらはまだ公開されておらず、現時点ではサードパーティのサポートも精彩を欠いているようです。同時に、OpenAI に対する開発者のサポートも膨大です。 次に、GPT-4 はマルチモーダル モデルであり、テキストと画像の両方を分析できます。マルチモダリティには、興味深い使用例が多数あります。 ChatGPT にグラフ、表、医療レポート、医療画像などを調査するよう依頼できます。はい、この機能はまだ ChatGPT に追加されていませんが、初期のデモを見たことがあり、非常に印象的でした。一方、 PaLM 2 はテキストのみを扱うため、マルチモーダル モデルではありません 。 検索大手はPaLM 2を微調整して確かにマルチモーダルなMed-PaLM 2を作成しましたが、一般公開されておらず、医療分野のみに限定されています。 Googleは、 Geminiと呼ばれる次世代モデルは画期的な機能を備えたマルチモーダルになると 述べているが、まだトレーニング中であり、リリースまでは数か月かかるという。 GoogleはBardにLensのサポートを提供すると約束しているが、それはAIを活用したビジュアルモデルと同じではない。 最後に、GPT-4 と比較して、 Google Bard は頻繁に幻覚を起こします ( ここでの例を参照してください 。Bard は PaLM AI モデルが OpenAI によって作成されたと考えています)。咄嗟に情報をでっち上げ、自信を持って虚偽の情報で返答する。 GPT-3 と GPT-3.5 にも同様の問題がありましたが、OpenAI は GPT-4 のリリースで幻覚を 40% 削減することに成功しました。 Google は同じ幻覚問題に「 大胆かつ責任を持って 」取り組む必要がある。 結論: PaLM 2 か GPT-4? 要約すると、Google の PaLM 2 AI モデルは、高度な推論、翻訳、多言語機能、数学、コーディングなどのいくつかの分野で向上しています。さらに、高速なパフォーマンスと低いサービスコストで小型のモデルを実行できるという追加の利点もあります。ただし、GPT-4 と同等の機能を実現するには、Google はマルチモダリティのサードパーティ ツール (プラグイン) を追加し、幻覚の問題に対処し、AI モデルを可能な限り開発者にとって使いやすいものにする必要があります。
PaLM の最初のバージョンは 5,400 億のパラメータでトレーニングされ、最大規模の LLM の 1 つになりました。しかし、2023 年に Google は、サイズははるかに小さいものの、競合他社よりも高速で効率的な PaLM 2 を考案しました。 PaLM 2の 92ページの技術レポート で、Googleはパラメータのサイズについて言及していないが、 TechCrunch の レポート によると、 PaLM 2モデルの1つは147億パラメータでしかトレーニングされておらず 、これはPaLM 1や他の競合モデルよりもはるかに少ない。 Twitter 上の一部の 研究者は 、最大の PaLM 2 モデルは 1,000 億個のパラメーターでトレーニングされる可能性が高いが、それでも競合モデルよりもはるかに低いと述べています。 参考までに、OpenAI の GPT-4 モデルは 1 兆の パラメーターでトレーニングされると言われていますが、これはまさに驚くべきことです。 GPT-4 モデルは PaLM 2 より少なくとも 10 倍大きいです。 Google はどのようにして PaLM 2 を小型化したのでしょうか? Google は 公式ブログ で、大きいほど必ずしも良いわけではなく、研究の創造性が優れたモデルを作成する鍵であると述べています。ここでの「研究の創造性」とは、Google がヒューマン フィードバックからの強化学習 (RLHF)、コンピューティング最適化スケーリング 、およびその他の新しい技術を指している可能性があります。 GoogleはPaLM 2でどのような研究創造性を採用しているのかを明らかにしていないが、同社は比較的小規模なモデルを使用しているにもかかわらず、より良い結果を得るために LoRA（低ランク適応） 、命令チューニング、高品質のデータセットを使用している可能性があるようだ。 全体として、PaLM 2 は、処理するパラメータが少ないため 、より高速で、比較的小型で、コスト効率が高い LLM モデルです。同時に、常識的な推論、より優れた論理解釈、高度な数学、多言語での会話、コーディングの習熟などの機能ももたらします。以上が PaLM 2 モデルの基本でした。次に、その機能について詳しく見ていきましょう。 PaLM 2 のハイライト機能は何ですか? 前述したように、PaLM 2 はより高速で効率性が高く、サービス コストが低くなります。それとは別に、いくつかの高度な機能も提供します。まず、PaLM 2 は常識的な推論に非常に優れています。実際、Google は、PaLM 2 の推論機能は GPT-4 と競合できる と述べています。 WinoGrande 常識テストでのテストでは、PaLM 2 のスコアは 90.2 でしたが、GPT-4 のスコアは 87.5 でした。 ARC-C テストでは、GPT-4 のスコアはワンランク高く、96.3 を達成しましたが、PaLM 2 のスコアは 95.1 でした。 DROP、StrategyQA、CSQA、その他いくつかの推論テストでは、PaLM 2 は GPT-4 よりも優れたパフォーマンスを示します。 Google's PaLM 2 AI Model reasoning capabilities 推論の評価 / 出典: Google の PaLM 2 テクニカル ペーパー それだけでなく、PaLM 2 は多言語能力により、他の言語の慣用句、詩、ニュアンスのある文章、さらにはなぞなぞを理解することができます。言葉の文字通りの意味を超えて、言葉の背後にある 曖昧で比喩的な意味を理解します 。これは、PaLM 2 がさまざまな言語の並列多言語テキストで事前トレーニングされているためです。さらに、高品質の多言語データのコーパスにより、PaLM 2 はさらに強力になります。その結果、翻訳やその他のアプリケーションは PaLM 2 ではるかに適切に動作します。 次に、そのコーディング機能について説明します。 Googleによれば、PaLM 2はパブリックドメインで入手可能な高品質のソースコードデータセットの大規模なコーパスで再びトレーニングされたという。その結果、Python、JavaScrupt、C、C++、さらには Prolog、Fortran、Verilog などの古い言語を含む 20 以上のプログラミング言語 がサポートされます。また、コードの生成、コンテキストを認識した提案の提供、ある言語から別の言語へのコードの翻訳、コメントだけで関数を追加することなどもできます。 PaLM 2 モデルは何ができるのですか? まず最初に、PaLM 2 はさまざまなユースケースに適応できるように構築されていると言わせてください。 Google は、PaLM 2 が Gecko、Otter、Bison、Unicorn の 4 つの異なるモデルで提供されると発表しました。ヤモリが最小でユニコーンが最大です。 Gecko は非常に軽量なので、完全にオフラインのスマートフォンでも実行できます。主力携帯電話では 1 秒あたり 20 トークンを処理 できます。これは 1 秒あたり約 16 ワードに相当します。すごいですね。アクティブなインターネット接続や強力なスペックを必要とせずに、スマートフォン上で実行できる AI 搭載のオンデバイス アプリケーションを想像してみてください。 それとは別に、 PaLM 2 を微調整して、ドメイン固有のモデルをすぐに作成することができます 。 Google はすでに Med-PaLM 2 を作成しています。これは、PaLM 2 をベースに微調整された医療特化の LLM で、米国医師免許試験形式の問題で「エキスパート」レベルのコンピテンシーを取得しています。 USMLE テストでは 85.4% の精度 を達成し、GPT-4 (84%) よりもさらに高くなりました。とはいえ、GPT-4 は汎用 LLM であり、医学知識に合わせて微調整されていないことに留意してください。 今後、Google は Med-PaLM 2 にマルチモーダル機能 を追加しました。 X線やマンモグラムなどの画像を分析し、専門の臨床医の意見に沿って結論を導き出すことができます。これは、世界中の遠隔地に切望されている医療アクセスをもたらすことができるため、非常に注目に値します。それに加えて、Google はサイバーセキュリティ分析と悪意のある脅威を即座に検出するための PaLM 2 の特殊バージョンである Sec-PaLM を開発しました。 PaLM 2 を搭載した Google 製品 これらはすべて、さまざまな分野や業界における PaLM 2 のさまざまな使用例です。個人消費者については、Gmail、Google ドキュメント、Google スプレッドシートの Google Bard、Google Generative AI Search、Duet AI を通じて PaLM 2 の動作を体験できます。 Google は最近、対話型 AI チャットボットである Bard を PaLM 2 に移行し、 180 か国 以上へのアクセスを開放しました。私たちの記事に従って、今すぐ Google Bard の使用方法を学ぶことができます。 Google's PaLM 2 AI Model グーグル吟遊詩人 Gmail、Google ドキュメント、スプレッドシート (Google はこれを Duet AI for Google Workspace と呼んでいます) で PaLM 2 を使用する場合、AI を活用した機能を利用するには 待機リスト に参加する必要があります。最後に、開発者向けに、Google は PaLM 2 モデルに基づく PaLM API をリリースし ました。今すぐ サインアップして、 製品で PaLM API を使用できます。 1 秒あたり 75 個を超えるトークンを生成でき、8,000 個のトークンのコンテキスト ウィンドウがあります。 PaLM 2 と GPT-4: AI モデルはどのように比較されますか? 機能を比較する前に、PaLM 2 が高速であることが 1 つ明らかです。つまり、複雑な推論の質問であっても、クエリにすばやく応答します。それだけではなく、デフォルトの応答に満足できない場合に備えて、一度に 3 つのドラフトが提供されます。したがって、効率とコンピューティングの観点から見ると、Google は OpenAI よりも 1 歩か 2 歩先を行っています。 Google Bard AI のすべての新機能については、こちらをご覧ください。 機能に関する限り、私たちは両方のモデルの推論スキルをテストしましたが、PaLM 2 を搭載した Google Bard はそのようなテストで真の威力を発揮します 。 3 つの推論の質問のうち、Bard は 3 つすべてに正解しましたが、ChatGPT-4 は 1 つの正解しか答えられませんでした。ある例では、バードの評価は間違っていましたが（幻覚のようでした）、どういうわけか正しい答えを出しました。 それとは別に、コーディング作業に関して、私が提供したコードのバグを見つけるように Bard に依頼しましたが、問題を修正するために長い返答があり、それは完全に間違っていたことが判明しました。しかし、ChatGPT-4 は、それ以上のプロンプトを表示することなく、即座にコーディング構文を特定し、エラーを発見し、コードを修正しました。 また、ダイクストラのアルゴリズムを Python で実装するタスクを両方のモデルに割り当てたところ、両方のモデルで エラーのないコードが生成されました 。両方をコンパイルしましたが、どの関数もエラーをスローしませんでした。とはいえ、ChatGPT-4 はいくつかの例を含むクリーンなコードを生成しますが、Bard はベアボーン機能のみを実装します。 Google PaLM 2 の制限事項 さて、限界が近づいてきましたが、ChatGPT プラグインが強力で、GPT-4 の機能をすぐに何マイルも強化できることはすでにわかっています。 コード インタープリター プラグイン を使用するだけで、ユーザーは ChatGPT でさらに多くのことを行うことができます。実際、Google もプラグインと同様の「ツール」を発表していますが、それらはまだ公開されておらず、現時点ではサードパーティのサポートも精彩を欠いているようです。同時に、OpenAI に対する開発者のサポートも膨大です。 次に、GPT-4 はマルチモーダル モデルであり、テキストと画像の両方を分析できます。マルチモダリティには、興味深い使用例が多数あります。 ChatGPT にグラフ、表、医療レポート、医療画像などを調査するよう依頼できます。はい、この機能はまだ ChatGPT に追加されていませんが、初期のデモを見たことがあり、非常に印象的でした。一方、 PaLM 2 はテキストのみを扱うため、マルチモーダル モデルではありません 。 検索大手はPaLM 2を微調整して確かにマルチモーダルなMed-PaLM 2を作成しましたが、一般公開されておらず、医療分野のみに限定されています。 Googleは、 Geminiと呼ばれる次世代モデルは画期的な機能を備えたマルチモーダルになると 述べているが、まだトレーニング中であり、リリースまでは数か月かかるという。 GoogleはBardにLensのサポートを提供すると約束しているが、それはAIを活用したビジュアルモデルと同じではない。 最後に、GPT-4 と比較して、 Google Bard は頻繁に幻覚を起こします ( ここでの例を参照してください 。Bard は PaLM AI モデルが OpenAI によって作成されたと考えています)。咄嗟に情報をでっち上げ、自信を持って虚偽の情報で返答する。 GPT-3 と GPT-3.5 にも同様の問題がありましたが、OpenAI は GPT-4 のリリースで幻覚を 40% 削減することに成功しました。 Google は同じ幻覚問題に「 大胆かつ責任を持って 」取り組む必要がある。 結論: PaLM 2 か GPT-4? 要約すると、Google の PaLM 2 AI モデルは、高度な推論、翻訳、多言語機能、数学、コーディングなどのいくつかの分野で向上しています。さらに、高速なパフォーマンスと低いサービスコストで小型のモデルを実行できるという追加の利点もあります。ただし、GPT-4 と同等の機能を実現するには、Google はマルチモダリティのサードパーティ ツール (プラグイン) を追加し、幻覚の問題に対処し、AI モデルを可能な限り開発者にとって使いやすいものにする必要があります。
PaLM 2の 92ページの技術レポート で、Googleはパラメータのサイズについて言及していないが、 TechCrunch の レポート によると、 PaLM 2モデルの1つは147億パラメータでしかトレーニングされておらず 、これはPaLM 1や他の競合モデルよりもはるかに少ない。 Twitter 上の一部の 研究者は 、最大の PaLM 2 モデルは 1,000 億個のパラメーターでトレーニングされる可能性が高いが、それでも競合モデルよりもはるかに低いと述べています。 参考までに、OpenAI の GPT-4 モデルは 1 兆の パラメーターでトレーニングされると言われていますが、これはまさに驚くべきことです。 GPT-4 モデルは PaLM 2 より少なくとも 10 倍大きいです。 Google はどのようにして PaLM 2 を小型化したのでしょうか? Google は 公式ブログ で、大きいほど必ずしも良いわけではなく、研究の創造性が優れたモデルを作成する鍵であると述べています。ここでの「研究の創造性」とは、Google がヒューマン フィードバックからの強化学習 (RLHF)、コンピューティング最適化スケーリング 、およびその他の新しい技術を指している可能性があります。 GoogleはPaLM 2でどのような研究創造性を採用しているのかを明らかにしていないが、同社は比較的小規模なモデルを使用しているにもかかわらず、より良い結果を得るために LoRA（低ランク適応） 、命令チューニング、高品質のデータセットを使用している可能性があるようだ。 全体として、PaLM 2 は、処理するパラメータが少ないため 、より高速で、比較的小型で、コスト効率が高い LLM モデルです。同時に、常識的な推論、より優れた論理解釈、高度な数学、多言語での会話、コーディングの習熟などの機能ももたらします。以上が PaLM 2 モデルの基本でした。次に、その機能について詳しく見ていきましょう。 PaLM 2 のハイライト機能は何ですか? 前述したように、PaLM 2 はより高速で効率性が高く、サービス コストが低くなります。それとは別に、いくつかの高度な機能も提供します。まず、PaLM 2 は常識的な推論に非常に優れています。実際、Google は、PaLM 2 の推論機能は GPT-4 と競合できる と述べています。 WinoGrande 常識テストでのテストでは、PaLM 2 のスコアは 90.2 でしたが、GPT-4 のスコアは 87.5 でした。 ARC-C テストでは、GPT-4 のスコアはワンランク高く、96.3 を達成しましたが、PaLM 2 のスコアは 95.1 でした。 DROP、StrategyQA、CSQA、その他いくつかの推論テストでは、PaLM 2 は GPT-4 よりも優れたパフォーマンスを示します。 Google's PaLM 2 AI Model reasoning capabilities 推論の評価 / 出典: Google の PaLM 2 テクニカル ペーパー それだけでなく、PaLM 2 は多言語能力により、他の言語の慣用句、詩、ニュアンスのある文章、さらにはなぞなぞを理解することができます。言葉の文字通りの意味を超えて、言葉の背後にある 曖昧で比喩的な意味を理解します 。これは、PaLM 2 がさまざまな言語の並列多言語テキストで事前トレーニングされているためです。さらに、高品質の多言語データのコーパスにより、PaLM 2 はさらに強力になります。その結果、翻訳やその他のアプリケーションは PaLM 2 ではるかに適切に動作します。 次に、そのコーディング機能について説明します。 Googleによれば、PaLM 2はパブリックドメインで入手可能な高品質のソースコードデータセットの大規模なコーパスで再びトレーニングされたという。その結果、Python、JavaScrupt、C、C++、さらには Prolog、Fortran、Verilog などの古い言語を含む 20 以上のプログラミング言語 がサポートされます。また、コードの生成、コンテキストを認識した提案の提供、ある言語から別の言語へのコードの翻訳、コメントだけで関数を追加することなどもできます。 PaLM 2 モデルは何ができるのですか? まず最初に、PaLM 2 はさまざまなユースケースに適応できるように構築されていると言わせてください。 Google は、PaLM 2 が Gecko、Otter、Bison、Unicorn の 4 つの異なるモデルで提供されると発表しました。ヤモリが最小でユニコーンが最大です。 Gecko は非常に軽量なので、完全にオフラインのスマートフォンでも実行できます。主力携帯電話では 1 秒あたり 20 トークンを処理 できます。これは 1 秒あたり約 16 ワードに相当します。すごいですね。アクティブなインターネット接続や強力なスペックを必要とせずに、スマートフォン上で実行できる AI 搭載のオンデバイス アプリケーションを想像してみてください。 それとは別に、 PaLM 2 を微調整して、ドメイン固有のモデルをすぐに作成することができます 。 Google はすでに Med-PaLM 2 を作成しています。これは、PaLM 2 をベースに微調整された医療特化の LLM で、米国医師免許試験形式の問題で「エキスパート」レベルのコンピテンシーを取得しています。 USMLE テストでは 85.4% の精度 を達成し、GPT-4 (84%) よりもさらに高くなりました。とはいえ、GPT-4 は汎用 LLM であり、医学知識に合わせて微調整されていないことに留意してください。 今後、Google は Med-PaLM 2 にマルチモーダル機能 を追加しました。 X線やマンモグラムなどの画像を分析し、専門の臨床医の意見に沿って結論を導き出すことができます。これは、世界中の遠隔地に切望されている医療アクセスをもたらすことができるため、非常に注目に値します。それに加えて、Google はサイバーセキュリティ分析と悪意のある脅威を即座に検出するための PaLM 2 の特殊バージョンである Sec-PaLM を開発しました。 PaLM 2 を搭載した Google 製品 これらはすべて、さまざまな分野や業界における PaLM 2 のさまざまな使用例です。個人消費者については、Gmail、Google ドキュメント、Google スプレッドシートの Google Bard、Google Generative AI Search、Duet AI を通じて PaLM 2 の動作を体験できます。 Google は最近、対話型 AI チャットボットである Bard を PaLM 2 に移行し、 180 か国 以上へのアクセスを開放しました。私たちの記事に従って、今すぐ Google Bard の使用方法を学ぶことができます。 Google's PaLM 2 AI Model グーグル吟遊詩人 Gmail、Google ドキュメント、スプレッドシート (Google はこれを Duet AI for Google Workspace と呼んでいます) で PaLM 2 を使用する場合、AI を活用した機能を利用するには 待機リスト に参加する必要があります。最後に、開発者向けに、Google は PaLM 2 モデルに基づく PaLM API をリリースし ました。今すぐ サインアップして、 製品で PaLM API を使用できます。 1 秒あたり 75 個を超えるトークンを生成でき、8,000 個のトークンのコンテキスト ウィンドウがあります。 PaLM 2 と GPT-4: AI モデルはどのように比較されますか? 機能を比較する前に、PaLM 2 が高速であることが 1 つ明らかです。つまり、複雑な推論の質問であっても、クエリにすばやく応答します。それだけではなく、デフォルトの応答に満足できない場合に備えて、一度に 3 つのドラフトが提供されます。したがって、効率とコンピューティングの観点から見ると、Google は OpenAI よりも 1 歩か 2 歩先を行っています。 Google Bard AI のすべての新機能については、こちらをご覧ください。 機能に関する限り、私たちは両方のモデルの推論スキルをテストしましたが、PaLM 2 を搭載した Google Bard はそのようなテストで真の威力を発揮します 。 3 つの推論の質問のうち、Bard は 3 つすべてに正解しましたが、ChatGPT-4 は 1 つの正解しか答えられませんでした。ある例では、バードの評価は間違っていましたが（幻覚のようでした）、どういうわけか正しい答えを出しました。 それとは別に、コーディング作業に関して、私が提供したコードのバグを見つけるように Bard に依頼しましたが、問題を修正するために長い返答があり、それは完全に間違っていたことが判明しました。しかし、ChatGPT-4 は、それ以上のプロンプトを表示することなく、即座にコーディング構文を特定し、エラーを発見し、コードを修正しました。 また、ダイクストラのアルゴリズムを Python で実装するタスクを両方のモデルに割り当てたところ、両方のモデルで エラーのないコードが生成されました 。両方をコンパイルしましたが、どの関数もエラーをスローしませんでした。とはいえ、ChatGPT-4 はいくつかの例を含むクリーンなコードを生成しますが、Bard はベアボーン機能のみを実装します。 Google PaLM 2 の制限事項 さて、限界が近づいてきましたが、ChatGPT プラグインが強力で、GPT-4 の機能をすぐに何マイルも強化できることはすでにわかっています。 コード インタープリター プラグイン を使用するだけで、ユーザーは ChatGPT でさらに多くのことを行うことができます。実際、Google もプラグインと同様の「ツール」を発表していますが、それらはまだ公開されておらず、現時点ではサードパーティのサポートも精彩を欠いているようです。同時に、OpenAI に対する開発者のサポートも膨大です。 次に、GPT-4 はマルチモーダル モデルであり、テキストと画像の両方を分析できます。マルチモダリティには、興味深い使用例が多数あります。 ChatGPT にグラフ、表、医療レポート、医療画像などを調査するよう依頼できます。はい、この機能はまだ ChatGPT に追加されていませんが、初期のデモを見たことがあり、非常に印象的でした。一方、 PaLM 2 はテキストのみを扱うため、マルチモーダル モデルではありません 。 検索大手はPaLM 2を微調整して確かにマルチモーダルなMed-PaLM 2を作成しましたが、一般公開されておらず、医療分野のみに限定されています。 Googleは、 Geminiと呼ばれる次世代モデルは画期的な機能を備えたマルチモーダルになると 述べているが、まだトレーニング中であり、リリースまでは数か月かかるという。 GoogleはBardにLensのサポートを提供すると約束しているが、それはAIを活用したビジュアルモデルと同じではない。 最後に、GPT-4 と比較して、 Google Bard は頻繁に幻覚を起こします ( ここでの例を参照してください 。Bard は PaLM AI モデルが OpenAI によって作成されたと考えています)。咄嗟に情報をでっち上げ、自信を持って虚偽の情報で返答する。 GPT-3 と GPT-3.5 にも同様の問題がありましたが、OpenAI は GPT-4 のリリースで幻覚を 40% 削減することに成功しました。 Google は同じ幻覚問題に「 大胆かつ責任を持って 」取り組む必要がある。 結論: PaLM 2 か GPT-4? 要約すると、Google の PaLM 2 AI モデルは、高度な推論、翻訳、多言語機能、数学、コーディングなどのいくつかの分野で向上しています。さらに、高速なパフォーマンスと低いサービスコストで小型のモデルを実行できるという追加の利点もあります。ただし、GPT-4 と同等の機能を実現するには、Google はマルチモダリティのサードパーティ ツール (プラグイン) を追加し、幻覚の問題に対処し、AI モデルを可能な限り開発者にとって使いやすいものにする必要があります。
