GeminiのMagic Pointerという技術的機能がGoogleから公表されていますが、いつから導入されるのか、どういったことができるのか、まとめつつアイトラッキングシステムとの相性と実用性を考察しています。

Magic Pointerでできること

Magic Pointerはポインター（カーソル）のある場所をGemini AIが自動で読み取り、ユーザーの指示または意図を読み取って処理をする技術的機能です。

例えば、表を指して「グラフにして」と伝えるだけで、その表のデータをもとにグラフを自動生成する。
文章の一部を指しながら「ここを丁寧な言い方に直して」と指示し、指した箇所だけを書き換えるなど。

Googlebook専用？Windowsでも使える？

Magic Pointerは新しいGoogle製品であるGooglebookにて搭載されることが公表されていますが、Windowsなどの他OSでも利用可能になります。

GooglebookではOS全体を対象として機能するのに対し、Windowsなどの他OSではChromeブラウザ内でのみ機能する仕様です。

現状、ブラウザひとつで多くのことができますのでChromeブラウザ内だけの機能であっても十分に価値はありそうです。

いつから導入されるのか

Googlebookの発売時期は2026年の秋に予定されています。
Windowsなどの他OSに機能が搭載される時期は不明となっています。

音声入力は必須か

Magic Pointerの仕様や機能面を考えると、AIへの指示などは音声入力でないとその価値を発揮しないのでしょう。

マウスカーソルのある場所が重要なのに、キーボード入力だと入力エリアにフォーカスしないといけませんし、まともに使える場面は激減しそうです。

モバイルであれば音声入力に慣れている人も多そうですが、PCだと逆にヘッドセット面倒になったり、キーボード入力の方が楽だったりで少ないかも。

AIエージェントとのやり取りに音声入力を使うことに、今のうちから慣れておいた方が良いかもしれませんね。

アイトラッキングがあれば最高なのでは？

Magic Pointerが公表され、機能について確認したとき、一番最初に「これはアイトラッキングがあれば・・！！」と、みんな妄想してしまいましたよね。

Magic Pointerがどこまでの操作を可能なのかは不明なところがありますが、初体験時はマウスカーソルをファイルやリンクの場所に持っていき「これを開いて」と指示するでしょう。

AIはきっと思うでしょう「マウスカーソルに手があるなら自分でクリックしなよ」と。

マウスカーソルに手があって自分で操作した方が早いのにAIに任せようなんてことなくない？と思うかもですが、個人的には結構やっちゃうんですよね。
自分で書き換えた方が早いよねっていうコード編集も、それ以上の文字数でAIエージェントに指示したりしてしまうんですよねー。

そこで、アイトラッキングがあればですよ。

完全手放しでマウス操作、文章入力、動画再生、スクロール、出来てしまうのかもしれません。

アイトラッキング用の製品は多くはありませんが、Tobiiアイトラッカー5などでしょうか。
5万円くらい、理想通りの操作が実現できるのであれば現実的か。反応速度ってどれくらいなのだろ。