大画面での入力の互換性

大画面のデバイスでは、キーボード、マウス、トラックパッド、タッチペン、ゲームパッドを使用してアプリを操作することが多くなります。アプリが外部デバイスからの入力を受け入れるようにするには、以下を行います。

  • 基本的なキーボード サポートをテストする(Tab キーと矢印キーによるキーボード ナビゲーション、Enter キーによるテキスト入力の確定、メディアアプリでの Space キーによる再生 / 一時停止など)
  • 標準のキーボード ショートカットを追加する(使用可能な場合。Ctrl+Z キーで元に戻す、Ctrl+S キーで保存するなど)
  • 基本的なマウス操作をテストする(右クリックしてコンテキスト メニューを表示する、ユーザーがカーソルを合わせたときにアイコンを変更する、マウスホイールまたはトラックパッドでカスタムビューをスクロールするなど)
  • アプリ固有の入力デバイスをテストする(描画アプリ用のタッチペン、ゲーム用のゲーム コントローラ、音楽アプリ用の MIDI コントローラなど)
  • 高度な入力のサポートを検討する(パソコン環境でアプリの魅力を高めたい場合。DJ アプリ用のクロスフェーダーとしてのタッチパッド、ゲーム用のマウス キャプチャ、キーボードを多用するユーザー向けの豊富なキーボード ショートカットなど)

キーボード

キーボード入力に対してアプリがどのように応答するかは、大画面での操作性を高める鍵になります。キーボード入力には、ナビゲーションキーストロークショートカットの 3 種類があります。

タップ中心のアプリにキーボード ナビゲーションが実装されることはまれですが、ユーザーはアプリの使用時にキーボードがあれば、キーボード ナビゲーションを期待します。また、スマートフォン、タブレット、折りたたみ式デバイス、デスクトップ デバイスでユーザー補助を必要とするユーザーにとっても、キーボード ナビゲーションは不可欠です。

多くのアプリは矢印キーと Tab キーによるシンプルなナビゲーションしか必要とせず、ほとんどの場合 Android フレームワークによって自動的に処理されます。たとえば、Button のビューはデフォルトでフォーカス可能であり、キーボード ナビゲーションは一般的に追加のコードなしで機能します。デフォルトではフォーカス可能でないビューのキーボード ナビゲーションを有効にするには、デベロッパーがビューをフォーカス可能としてマークする必要があります。これは次に示すように、プログラムまたは XML で実施できます。詳細については、フォーカス処理についての説明をご覧ください。

Kotlin

yourView.isFocusable = true

Java

yourView.setFocusable(true);

他に、レイアウト ファイルで focusable 属性を設定する方法もあります。

android:focusable="true"

フォーカスが有効になると、Android フレームワークはすべてのフォーカス可能なビューのナビゲーション マッピングを、位置に基づいて作成します。通常、これは想定どおりに機能し、特別な作業は不要です。デフォルト マッピングがアプリのニーズに合わない場合は、次のようにしてオーバーライドできます。

Kotlin

// Arrow keys
yourView.nextFocusLeftId = R.id.view_to_left
yourView.nextFocusRightId = R.id.view_to_right
yourView.nextFocusTopId = R.id.view_above
yourView.nextFocusBottomId = R.id.view_below

// Tab key
yourView.nextFocusForwardId = R.id.next_view

Java

// Arrow keys
yourView.setNextFocusLeftId(R.id.view_to_left);
yourView.setNextFocusRightId(R.id.view_to_left);
yourView.setNextFocusTopId(R.id.view_to_left);
yourView.setNextFocusBottomId(R.id.view_to_left);

// Tab key
yourView.setNextFocusForwardId(R.id.next_view);

アプリをリリースする前に、キーボードのみを使用してアプリの各機能をテストすることをおすすめします。一般的な操作は、マウス入力やタップ入力なしで簡単に行えるようにする必要があります。

ユーザー補助機能を必要とするユーザーにとってはキーボードのサポートが不可欠であることに留意してください。

キーストローク

EditText のような画面上の仮想キーボード(IME)によって処理されるテキスト入力の場合、アプリは、デベロッパーによる追加作業がなくても大画面デバイスで想定どおりに動作します。フレームワークが予測できないキーストロークについては、アプリが独自に動作を処理する必要があります。これは、特にカスタムビューを使用するアプリに当てはまります。

たとえば、Enter キーを使用してメッセージを送信するチャットアプリ、Space キーで再生の開始と停止を行うメディアアプリ、W、A、S、D キーで移動を制御するゲームなどが挙げられます。

ほとんどのアプリは、次に示すように、onKeyUp() コールバックをオーバーライドし、受け取ったキーコードごとに期待される動作を追加します。

Kotlin

override fun onKeyUp(keyCode: Int, event: KeyEvent): Boolean {
    return when (keyCode) {
        KeyEvent.KEYCODE_ENTER -> {
            sendChatMessage()
            true
        }
        KeyEvent.KEYCODE_SPACE -> {
            playOrPauseMedia()
            true
        }
        else -> super.onKeyUp(keyCode, event)
    }
}

Java

@Override
public boolean onKeyUp(int keyCode, KeyEvent event) {
    if (keyCode == KeyEvent.KEYCODE_ENTER) {
        sendMessage();
        return true;
    } else if (KeyEvent.KEYCODE_SPACE){
        playOrPauseMedia();
        return true;
    } else {
        return super.onKeyUp(keyCode, event);
    }
}

onKeyUp イベントは、キーが離されたときに発生します。このコールバックを使用すると、キーを長押ししたりゆっくり離したりした場合に、アプリが複数の onKeyDown イベントを処理する必要がなくなります。キーが押された瞬間を把握する必要があるか、ユーザーによるキーボードキーの長押しを想定しているゲームやアプリは、onKeyDown() イベントを探し、繰り返される onKeyDown イベントを独自に処理できます。

キーボードのサポートの提供について詳しくは、キーボード アクションの処理をご覧ください。

ショートカット

ハードウェア キーボードを使用する際は、Ctrl キー、Alt キー、Shift キーをベースとする一般的なショートカットが求められます。こうしたショートカットがアプリに実装されていないと、ユーザーがフラストレーションを感じる可能性があります。また上級ユーザーにとっては、よく使うアプリ固有のタスクのショートカットが役立ちます。ショートカットを実装することで、アプリの使いやすさを高め、ショートカットを備えていないアプリとの差別化を図ることができます。

一般的なショートカットには、Ctrl+S(保存)、Ctrl+Z(元に戻す)、Ctrl+Shift+Z(やり直し)などがあります。より高度なショートカットの例については、VLC Media Player のショートカット キーの一覧をご覧ください。

ショートカットは dispatchKeyShortcutEvent() を使用して実装できます。このメソッドは、特定のキーコードのすべてのメタキーの組み合わせ(Alt、Ctrl、Shift)をインターセプトします。特定のメタキーをチェックするには、KeyEvent.isCtrlPressed()KeyEvent.isShiftPressed()KeyEvent.isAltPressed()、または KeyEvent.hasModifiers() を使用します。

ショートカット コードを他のキーストローク処理(onKeyUp()onKeyDown())から分離することで、コードのメンテナンスが容易になり、すべての場合に手動でメタキーのチェックを実装しなくても、メタキーをデフォルトで受け入れることができます。また、さまざまなキーボード レイアウトとオペレーティング システムに慣れたユーザーにとっては、あらゆるメタキーの組み合わせが可能であれば、使いやすさが向上します。

Kotlin

override fun dispatchKeyShortcutEvent(event: KeyEvent): Boolean {
  return when (event.keyCode) {
    KeyEvent.KEYCODE_O -> {
      openFile() // Ctrl+O, Shift+O, Alt+O
      true
    }
    KeyEvent.KEYCODE_Z-> {
      if (event.isCtrlPressed) {
        if (event.isShiftPressed) {
          redoLastAction() // Ctrl+Shift+Z pressed
          true
        } else {
          undoLastAction() // Ctrl+Z pressed
          true
        }
      }
    }
    else -> {
      return super.dispatchKeyShortcutEvent(event)
    }
  }
}

Java

@Override
public boolean dispatchKeyShortcutEvent(KeyEvent event) {
  if (event.getKeyCode() == KeyEvent.KEYCODE_O) {
      openFile(); // Ctrl+O, Shift+O, Alt+O
      return true;
  } else if(event.getKeyCode() == KeyEvent.KEYCODE_Z) {
      if (event.isCtrlPressed()) {
          if (event.isShiftPressed()) {
              redoLastAction();
              return true;
          }
          else {
              undoLastAction();
              return true;
          }
      }
  }
  return super.dispatchKeyShortcutEvent(event);
}

上記と同様に KeyEvent.isCtrlPressed()KeyEvent.isShiftPressed()KeyEvent.isAltPressed() をチェックして、onKeyUp() でショートカットを実装することもできます。この方法では、メタキーの動作がショートカットというよりもアプリの動作の変更である場合に、メンテナンスが簡単になります。たとえば、W が「前に歩く」を意味し、Shift+W が「前に走る」を意味する場合などです。

Kotlin

override fun onKeyUp(keyCode: Int, event: KeyEvent): Boolean {
  return when(keyCode) {
    KeyEvent.KEYCODE_W-> {
      if (event.isShiftPressed) {
        if (event.isCtrlPressed) {
          flyForward() // Ctrl+Shift+W pressed
          true
        } else {
          runForward() // Shift+W pressed
          true
        }
      } else {
        walkForward() // W pressed
        true
      }
    }
    else -> super.onKeyUp(keyCode, event)
  }
}

Java

@Override
public boolean onKeyUp(int keyCode, KeyEvent event) {
    if (keyCode == KeyEvent.KEYCODE_W) {
        if (event.isShiftPressed()) {
            if (event.isCtrlPressed()) {
                flyForward(); // Ctrl+Shift+W pressed
                return true;
            } else {
                runForward(); // Shift+W pressed
                return true;
            }
        } else {
            walkForward();
            return true;
        }
    }
    return super.onKeyUp(keyCode, event);
}

タッチペン

多くの大画面デバイスにはタッチペンが付属しており、Android アプリはこれをタッチスクリーン入力として処理します。Wacom Intuos のように、USB または Bluetooth の描画テーブルを備えたデバイスもあります。Android アプリは Bluetooth 入力を受け取れますが、USB 入力では動作しません。

タッチペン イベントは、View.onTouchEvent() または View.onGenericMotionEvent() によってタッチスクリーン イベントとしてレポートされ、SOURCE_STYLUS タイプの MotionEvent.getSource() を含みます。

MotionEvent には他のデータも含まれます。

履歴ポイント

Android は、入力イベントを一括でまとめてフレームごとに 1 回送信します。タッチペン入力では、ディスプレイよりもはるかに高い頻度でイベントがレポートされる可能性があります。描画アプリを作成する場合は、次の getHistorical API を使用して、最近発生した可能性があるイベントをチェックすることが重要です。

  • MotionEvent.getHistoricalX()
  • MotionEvent.getHistoricalY()
  • MotionEvent.getHistoricalPressure()
  • MotionEvent.getHistoricalAxisValue()

パーム リジェクション

ほとんどの大画面デバイスは、ユーザーの手のひらがタッチスクリーンに置かれた状態を認識しようとします。ただし、これは常に可能であるとは限りません。OS が手のひらとして認識する前に、タッチイベントがアプリにレポートされることがあります。その場合は ACTION_CANCEL イベントをレポートすることで、タップをキャンセルできます。

このイベントは、特定のタップが無効であり、そのタップによって発生したすべての操作を元に戻す必要があることをアプリに伝えます。たとえば描画アプリはレイテンシを最小限に抑えるために、新しい線を受け取るとすぐに一時的に描画しますが、キャンバスで永続的に確定されるのは、一連のタップが完全に終了してからです。その間にタッチイベントがキャンセルされた場合、一時的に描画された線は簡単に消去できます。

メモ作成アプリ

Chrome OS には、登録されたメモ作成アプリをユーザーに表示するための特別なインテントがあります。アプリをメモ作成アプリとして登録するには、Android マニフェストに次の行を追加します。

<intent-filter>
    <action android:name="org.chromium.arc.intent.action.CREATE_NOTE" />
    <category android:name="android.intent.category.DEFAULT" />
</intent-filter>

アプリが登録されると、ユーザーはそのアプリをデフォルトのメモ作成アプリとして選択できます。新しいメモがリクエストされた場合、アプリはタッチペン入力が可能な空のメモを作成する必要があります。ユーザーが画像(スクリーンショットやダウンロードした画像など)にアノテーションを付けようとした場合、アプリは content:// URI を持つアイテムを 1 つ以上含む ClipData とともに起動します。アプリは、最初の添付画像を背景画像として使用するメモを作成し、ユーザーがタッチペンで描画できるモードに移行する必要があります。

タッチペンなしでメモ作成インテントをテストする

アプリがメモ作成インテントに正しく応答するかどうかを、アクティブなタッチペンがない状態でテストするには、次の方法で Chrome OS のメモ作成オプションを表示します。

  1. デベロッパー モードに切り替えて、デバイスを書き込み可能にする
  2. Ctrl+Alt+F2 キーを押して、ターミナルを開く
  3. sudo vi /etc/chrome_dev.conf コマンドを実行する
  4. i を押して入力モードに切り替え、ファイルの末尾に新しい行として --ash-enable-palette を追加する
  5. Esc キーを押してから :、w、q を入力し、Enter キーを押して保存する
  6. Ctrl+Alt+F1 キーを押して、通常の Chrome OS UI に戻る
  7. ログアウトして再度ログインする

これで、シェルフにタッチペン メニューが表示されるようになります。

  • シェルフ内のタッチペン ボタンをタップし、[新しいメモ] を選択します。これにより、空白の描画メモが開きます。
  • スクリーンショットを撮ります。シェルフからタッチペン ボタン > [画面をキャプチャ] を選択するか、画像をダウンロードします。画像にアノテーションを付けるオプションが通知に表示されます。これにより、画像にアノテーションを付けられる状態でアプリが起動します。

マウスとタッチパッドのサポート

一般的にほとんどのアプリは、右クリックマウスオーバードラッグ&ドロップという 3 つの大画面中心のイベントを処理するだけで済みます。

右クリック

リストアイテムの長押しなど、アプリにコンテキスト メニューを表示させるためのアクションはすべて、右クリック イベントにも反応する必要があります。アプリが右クリック イベントを処理するには、View.OnContextClickListener の登録が必要です。コンテキスト メニューの作成の詳細については、コンテキスト メニューの作成をご覧ください。

Kotlin

yourView.setOnContextClickListener {
  showContextMenu()
  true
}

Java

yourView.setOnContextClickListener(v -> {
    showContextMenu();
    return true;
});

マウスオーバー

デベロッパーは、マウスオーバー イベントを適切に処理することで、アプリのレイアウトが洗練されていて使いやすいとユーザーに感じさせることができます。これは、特にカスタムビューに当てはまります。最も一般的な例は次の 2 つです。

  • マウスポインタ アイコンを変更することで、要素にインタラクティブな動作がある(たとえば、クリック可能または編集可能である)ことをユーザーに知らせる
  • 大規模なリストまたはグリッド内のアイテムにユーザーがカーソルを合わせたとき、そのアイテムに視覚的なフィードバックを追加する

Kotlin

// Change the icon to a "hand" pointer on hover,
// Highlight the view by changing the background.
yourView.setOnHoverListener { view, _ ->
  addVisualHighlighting(true)
  view.pointerIcon =
    PointerIcon.getSystemIcon(view.context,
    PointerIcon.TYPE_HAND)
  false // listener did not consume the event.
}

Java

yourView.setOnHoverListener((view, event) -> {
    addVisualHighlighting(true);
    view.setPointerIcon(PointerIcon
            .getSystemIcon(view.getContext(), PointerIcon.TYPE_HAND));
    return true;
});

ドラッグ&ドロップ

マルチウィンドウ環境では、ユーザーはアプリ間でアイテムをドラッグ&ドロップできることを期待します。これは、デスクトップ デバイス、タブレット、スマートフォン、分割画面モードの折りたたみ式デバイスに当てはまります。

デベロッパーは、ユーザーがアプリにアイテムをドラッグする可能性があるかどうかを考慮する必要があります。よくある例としては、写真エディタによる写真の受け取り、オーディオ プレーヤーによるオーディオ ファイルの受け取り、描画プログラムによる写真の受け取りなどがあります。

ドラッグ&ドロップのサポートを追加するには、Android のドラッグ&ドロップのドキュメントをご確認ください。こちらの Chrome OS に関するブログ投稿もご覧ください。

Chrome OS 向けの特別な考慮事項

  • アプリ外からドラッグしたアイテムにアクセスするには、requestDragAndDropPermissions を使用して権限をリクエストします。
  • 他のアプリにアイテムをドラッグするには、アイテムに View.DRAG_FLAG_GLOBAL フラグを設定する必要があります。

高度なポインタのサポート

マウス入力とタッチパッド入力の高度な処理を行うアプリは、Android ドキュメントの View.onGenericMotionEvent() に関する説明に沿って、MotionEvent.getSource() を使用して SOURCE_MOUSESOURCE_TOUCHSCREEN を区別する必要があります。

MotionEvent を調べて、次のような必要な動作を実装します。

  • 移動によって ACTION_HOVER_MOVE イベントを生成する。
  • ボタンによって ACTION_BUTTON_PRESS イベントと ACTION_BUTTON_RELEASE イベントを生成する。getButtonState() を使用して、すべてのマウスまたはトラックパッド ボタンの現在の状態をチェックすることもできます。
  • マウスホイールのスクロールによって ACTION_SCROLL イベントを生成する。

ゲーム コントローラ

大画面の Android デバイスの中には、最大 4 つのゲーム コントローラをサポートするものもあります。デベロッパーは、標準の Android ゲーム コントローラ API を使用してそれらを処理する必要があります(ゲーム コントローラをサポートするをご覧ください)。

ボタンは、一般的なマッピングに従って一般的な値にマッピングされます。残念ながら、すべてのゲーム コントローラ メーカーが同じマッピング規則に従っているわけではありません。各種の一般的なコントローラ マッピングをユーザーが選択できるようにすると、エクスペリエンスを大幅に向上させることができます。詳しくは、ゲームパッド ボタンの押下を処理するをご覧ください。

入力変換モード

Chrome OS では、デフォルトで入力変換モードが有効になっています。ほとんどの Android アプリでは、このモードを使用するとアプリがパソコン環境で想定どおりに動作します。たとえば、タッチパッドでの 2 本指スクロール、マウスホイールによるスクロール、未加工のディスプレイ座標のウィンドウ座標へのマッピングなどが自動的に有効になります。通常、アプリ デベロッパーはこうした動作を実装する必要はありません。

カスタムの入力動作をアプリに実装する(たとえば 2 本の指でタッチパッドをつまむカスタム操作を定義する)場合や、アプリが想定する入力イベントが入力変換によって提供されない場合は、Android マニフェストに次のタグを追加することにより、入力変換モードを無効にできます。

<uses-feature
    android:name="android.hardware.type.pc"
    android:required="false" />

参考情報