2024年12月12日(日本時間)、Apple Intelligenceへの機能追加を中心とするiOS 18.2・iPadOS 18.2・macOS Sequoia 15.2が配信された。この記事では今回のアップデート内容を、実際の使用感を交えつつ説明していく。なお、すでに先々月の時点で利用可能になっている機能や基礎知識については以下のVol.1で説明しているため、まだの方はそちらを先に読むことをお勧めする。
現在利用できる機能
まずは、現在時点でどこまでの機能が使えるかを確認しよう。なお、いずれも利用するためにはA17 Pro、A18以降、又はM1以降のチップを搭載した端末が必要だ。この記事では、筆者の所有するiPad Pro (11インチ, M1)を用いた画面を使って解説する。
すでに利用できる機能
- Siri 2.0 ※ (一部機能のみ、米国英語)
- 作文ツール / Writing Tools (米国英語)
- クリーンアップ / Clean Up
- 写真の自然言語検索・Memory Movie
- 音声の文字起こし / Transcript (米国英語)
- スマートリプライ / Smart Reply (米国英語)
- メールの要約と優先度メッセージ (米国英語)
- さまたげ低減 / Reduce Interruptions (米国英語)
新たに利用可能になった機能
- 上記機能の英国・豪州・カナダ・アイルランド・ニュージーランド・南アフリカ英語への対応
- Image Playgroundアプリ (各種英語)
- Genmoji (各種英語)
- 画像マジックワンド / Image Wand (各種英語)
- ChatGPTにSiriからアクセス
- Writing Tools「Compose」
- Visual Intelligence (iPhone 16以降限定)
- Siriのオンスクリーン認識 (一部)
現在ではまだ利用できない機能
- 優先通知 / Priority Notifications
- より深いパーソナルコンテキストの認識
- 英語以外の言語への対応
※：便宜上、Apple Int以前のSiriをSiri 1.0、以降のSiriをSiri 2.0と表記する。
Image Playground
Image Playgroundは、画像生成をすることのできる新しい独立アプリだ。このアプリ上で、あらかじめ用意されているムードや環境などのテーマ、写真アプリのピープルに登録されている人物、写真ライブラリに保存された写真などを選択するか、プロンプトを入力することで画像が生成できる。その過程で、選択した要素や入力したプロンプトがレインボーバブルの周囲に表示され、そのバブルから生成した画像が表示されるというUIになっている。この体験により、ユーザーはプロンプトに対する恐怖心を抑えて、誰でも簡単に使えるような印象を受ける。また、出力されたものも右にスワイプを続けていくことで次々に案が提示され、それにより自分好みのものを直感的に選びやすい。
この画像はStable Diffusion XL (SDXL)の技術を用いて生成しており、出力にはイラストチックなもの、アニメーションチックなものの2通りから選べる。これにより、ジェネラティブAIにより危惧されているディープフェイクに対する安全性を保証する。また、このアプリはインターネット接続なしでの利用も可能で、端末内のNeural Engineを用いることで生成している。
生成した画像はImage Playgroundアプリ内に保存され、その一覧が当該アプリの初期起動画面となる。共有ボタンを押すと各種メッセンジャーやメールなどでの送信、AirDropなどでの共有に加えて写真アプリへの保存も行える。写真アプリに保存されると、その画像は1024×1024解像度のスクエア画像として保存され、インフォメーションマークからは「Created with Image Playground」と言う表示が見られる。
作例は以下にいくつか示す。それぞれのプロンプトや指定テーマをキャプションに記載する。
また、メモアプリをはじめとした一部のテキスト入力画面では、「Add to Playground」というメニューが新たに追加されている。このメニューを選ぶことで、ここからプロンプトを打って画像を生成することもできる。Image Playgroundアプリとの主な違いとして、ここではテーマの用意がなく一からプロンプトを打たなければいけないこと、そして「スケッチ」という画風が選べることの2点だ。これについても作例を同様に示す。
Genmoji
Genmojiは、従来の絵文字の形式に則ったものが自分で作成できる機能だ。文字入力画面で「Show Emoji」から絵文字キーボードを選択した際の検索窓の右にGenmojiを作成するメニューが追加されており、ここにユーザーがプロンプトを入力することで好みの絵文字を作成でき、前述したImage Playgroundと同様に右スワイプで無限に候補を作成できる。そして、そこで作成した絵文字は従来の絵文字と同様にテキストとして扱えるようになる。
Image Playgroundによるフリーな画像生成と異なり、基本は背景が透過されているのがiOSにおける絵文字のデザインであるため、AIによってジェネレートされたものであると言う印象は受けにくいことで、より気軽に、日常生活でも使える機能ではないだろうか。
作例は以下にいくつか示す。プロンプトはキャプションに記載するため、ぜひ参考にしてほしい。
Image Wand
Image Wandは、メモ(Notes)アプリなどにおいて描いたラフな絵を指定のペンでなぞり画像を説明することで、整ったイラストに清書してくれると言う機能だ。ここで生成されたイラストは通常の画像と同じようにフリー配置できるほか、完了後にも右スワイプによる再生成を試みることもできる。
Image Playgroundと異なり、すでにラフ画を自分で描いているため、それに応じた配置・構図を踏襲し制作してくれるため、自分の思い通りの絵が出やすいと感じる。特に、筆者は画力がないため見窄(すぼ)らしい絵を描くしかなかったのが、簡単な操作によりメモとしてのクオリティをぐっと上げられるため非常に高評価だ。
作例として、筆者の絵と出力された絵でビフォーアフターをいくつか示す。プロンプトはキャプションに記載する。
ChatGPTとSiri
ついに、Siriに呼びかけた際に曖昧な返答をされることがなくなる。ChatGPTは業界をリードする対話型AIだとAppleは説明しており、日本でもジェネラティブAIの代名詞的存在になり「チャッピー」の愛称でも親しまれる超有名AIだ。Siriに質問した際に、Siriでは返答しきれない内容の場合、従来は「すみません、よく分かりません」の一点張り、またはGoogle検索であったが、これからはChatGPTに質問を投げるかどうかの問いかけがされるようになり、許可をするとChatGPTとのやり取りがSiriを介してできる。
ChatGPTにアクセスした場合、そのセキュリティ・プライバシーの管理はOpenAIに一存することになり、Appleの管轄外となるため基本ユーザーの許可を求める形だが、Siriの表示上で全て完結できると言うのは魅力的だろう。あらかじめ設定において自分のChatGPTアカウントと連携させておくことにより、Siriを介してやり取りしたデータをChatGPTのアプリやWebから閲覧、そしてやりとりの続きを行うことが無料でもできる。
GPT-4oを用いたより高度なやり取りを際限なく使いたい場合は、Apple Intelligenceの設定画面の「ChatGPT」と言う項目内からChatGPT Plusへ課金ができる。これにより実質的なリミットがなくなり、完全な状態でChatGPTとのやり取りを楽しめるようになる。筆者自身、身銭を切ってChatGPT Plusへ課金したため、当記事内で掲載するものは全てChatGPT Plusを用いたものとなる。なお、無料プランでも制限はあるもののGPT-4oは使えるため安心して欲しい。
また、Siriのオンスクリーン認識も一部利用できるようになっており、写真アプリで特定の写真を表示した状態で、Siriに写真に写っているものに関する質問を投げると、類似した写真をGoogleから探したり、あるいはChatGPTに投げたりできるようになった。
Visual Intelligence (iPhone 16シリーズ限定)
iPhone 16シリーズに搭載されたCamera Controlキーにより、カメラに映ったものをGoogle検索、翻訳、換算、ChatGPTに読み込ませるなどのことができるようになった。筆者自身はiPhone 16シリーズを所有していないためAppleの公式サイトに記載されている内容を紹介するに留まるが、おそらく前述したGoogle類似画像検索やChatGPTへの質問が同様にできるものと考える。
具体的に、自分の知らない言語で書かれたパッケージを読みこませて翻訳にかけたり、お店の看板を読み込ませてGoogleで検索したり、冷蔵庫の中身を読み込ませてChatGPTに料理のアイデアを求めたりなど、気軽に立ち上げられるCamera Controlから利用できるからこその用途は数多くあると思われる。
なお、カメラアプリを起動した状態でSiriを起動することでそれに類似したような使い方ができるという方法は存在する。実際ChatGPTに質問を投げることはできるため、iPhone 15 ProシリーズやiPadシリーズで使用したい場合はこの回避策を使うのがいいだろう。
Writing Tools「Compose」
前回のVol.1でも深くご紹介したWriting Toolsであるが、ここにもChatGPTと連携できる機能が追加された。それが、Composeである。従来のWriting Toolsではユーザーが入力した文章を整えるのが主な役割であったが、対してComposeでは一から文章作成を依頼できる。さらに、当機能については完全にChatGPTありきであるため、日本語を含むChatGPTが対応をしている全ての言語で利用できる点も高評価だろう。
OSの機能であるため文章の生成はWriting Tools内でできるほか、そこから先の修正についても、改善してほしい要素を入力することでより自分に合った使い方ができるようになる。もちろん、英語なら従来のWriting Toolsの機能を組み合わせてより状況にマッチした内容を考えることもできる。この機能を用いたやり取りのデータはChatGPTが持っており、無料・有料問わずやり取りをChatGPTのアプリやWebから再確認することも可能だ。
この性能については実証済みのGPT-4oの性能になってしまうため深掘りはしないが、一つ例を挙げておく。
まとめ
今回のアップデートで、Apple Intelligenceの「できること」がかなり広がったような印象を持つ。画像生成系では、Image WandやGenmojiなどAppleがすでに構築した絵文字や純正メモアプリなどの幅広いユーザー層に訴えかけられることで一般にも広められると考える。そして、ChatGPTとの連携機能については、先行してこのような機能を実装したGeminiに対抗する意味でも重要なアップデートであったと考えられる。
惜しくも日本語にはまだ対応していないが、4月以降のアップデートで多言語展開を進めていくとNewsroom内で明言したことからも、今後には期待できるだろう。
コメント