「AIって速いよね」って言うけど、何が速いの?
最近よく聞く「Claude(クロード)」というAIサービス、使ってみたことはありますか?実は「AIが速い」と一口に言っても、速さには3種類あるってことを知っている人は少ないんですよ。
例えば、宅配便でたとえると、「荷物が届いた!」と「荷物が出発した!」は別の話ですよね。AIの速さも、それと同じようなイメージなんです。
今回は、AIを使う上で知っておくとちょっと得する「速さの種類」を、わかりやすくお伝えします!
「AIの速さ」には3種類ある
① 全部終わるまでの時間:AIが答えを全部書き終わるまでの秒数です。バックヤードで自動処理するときに大切な指標なんです。
② 最初の1文字が届くまでの時間(TTFT:Time to First Token):これが「使ってて速い!と感じる体感速度」の正体なんです。チャットでAIに話しかけたとき、最初の文字がいつ出てくるかがポイントなんですよ。
③ 1秒間にどれだけ文字を生成できるか(tok/s):トークン(AIが言葉を扱う最小単位)を1秒間にいくつ出せるかという数字です。これが高いと、文章がスラスラ流れるように表示されます。
職場でたとえると、どういうこと?
①全部終わるまでの時間は「仕事の締め切り」のようなものです。裏側で自動でこなしてくれる処理には、この指標が大事なんですよ。
②最初の1文字が届くまでの時間は「上司に質問したとき、返事が来るまでの待ち時間」です。すぐに「ちょっと待ってね」と言ってもらえるだけで、安心感が違いますよね。
③1秒あたりの生成速度は「返事をもらった後、どれだけスラスラ話してくれるか」です。会話のテンポの良さと思ってもらえればOKです。
実際に計測したら、意外な結果が出た!
「Opus(オーパス)は高性能だから遅い、Sonnet(ソネット)は速い」という常識がありました。でも実際に75回計測してみると、計測するタイミングによって順位がコロコロ変わったんですよ。
1回目は「Opusの方が速い」、2回目は「Sonnetの方が速い」という結果に。これはAIのサーバー(AIを動かしているコンピューターの集まり)の込み具合が影響しているんです。
体感速度(最初の1文字が来るまでの時間)で複数回計測したところ、Sonnet 4.6が一番安定して速かったという結果が出ました。
これを知って、何が変わるの?
AIを使っていて「遅い」と感じたとき、何が遅いのかを考えられるようになります。チャットでの返答が遅い場合は②の体感速度の問題かもしれません。
また「1回試して速かった/遅かった」という判断は、あまり正確ではないこともわかりますよね。まるで道路の混雑状況と同じで、時間帯によって変わるんですよ。
AIを選ぶときも「速い」「遅い」だけじゃなく、「何を基準に速いのか」を意識すると、自分の使い方に合ったAIを選びやすくなります。
ここだけ気をつけて
今日のポイント
- AIの「速さ」には3種類ある:全部終わるまでの時間・最初の文字が来るまでの時間・1秒あたりの生成速度
- 体感速度のカギは「最初の1文字が来るまでの時間(TTFT)」:チャットで「速い!」と感じるのはここが短いから
- 1回の計測で「速い・遅い」を決めるのはNG:サーバーの状況で変わるので、複数回確認するのが正解
Powered by 侍AI道場 (CCI)
Photo by Sticker it on Unsplash


コメント