OpenAIは本日、「GPT-4o mini」を発表しました。
GPT-4o miniはGPT-3.5 Turboより60%以上安価であるにもかかわらず、MMLU AIベンチマークで82%のスコアを獲得し、LMSYSリーダーボードのチャット好感度でGPT-4を上回っています。さらに、GPT-4o miniは、テキストインテリジェンスとマルチモーダル推論のいくつかのベンチマークにおいて、Gemini 1.5 FlashとClaude 3 Haikuの両方を上回っています。
テキストと視覚の両方を含む推論タスクに関しては、GPT-4o miniはMMLUで82.0%のスコアを獲得し、他のすべての小型モデルを凌駕しています。数学的推論とコーディングのタスクでも、GPT-4o miniは87.0%のスコアを獲得し、Gemini Flashの75.5%、Claude Haikuの71.7%を上回っています。
コーディング性能に関して、GPT-4o miniはHumanEvalで87.2%を記録したのに対し、Gemini Flashは71.5%、Claude Haikuは75.9%でした。マルチモーダル推論では、GPT-4o miniのスコアが59.4%であったのに対し、Gemini Flashは56.1%、Claude Haikuは50.2%です。MathVistaベンチマークに関しては、Gemini FlashがGTP-4o miniより3%優れています。
GPT-4o miniは関数呼び出しにおいても強力な性能を発揮することができ、開発者は外部システムからデータを取得したり、アクションを起こしたりするアプリケーションを作成することができます。また、GPT-3.5 Turbo smallモデルと比較して、ロングコンテキストのパフォーマンスが向上しています。
GPT-4o miniは現在、Assistants API、Chat Completions API、Batch APIでテキストおよびビジョンモデルとして利用可能で、開発者は、1M入力トークンあたり15セント、1M出力トークンあたり60セントで利用可能です。
ChatGPTでは、フリー、プラス、チームユーザーがGPT-3.5の代わりに本日よりGPT-4o miniにアクセスできるようになります。エンタープライズユーザーも来週からアクセスできるようになります。
