Macのトラックパッドは右手と左手を区別している？

2021年5月18日 2021年5月18日 asai

asai

先日に続き、トラックパッドネタである。
タッチパッドでの片手２本指でのドラッグ操作であるが、どうも「右手と左手を区別している」ような感じが見受けられた。これを検証してみるのである。

検証に使ったMacBookは以下のもの。古いマシンやOSではこの通りにはならない可能性があることを付け加えておく。

さて、MacBookのトラックパッドは本当に右手か左手をちゃんと判別しているのであろうか。
まずは、前回のおさらいである。
片手でドラッグ操作をするときに、右手なら人差し指で押しっぱにして、中指で移動するとちゃんとドラッグできる。

押しっぱなしにする指と移動する指を「逆にする」とうまくドラッグできない。

この法則は左手でも同じ。
ということは、単純に押しっぱなしの指と移動する「指の位置関係で制御しているのではなく」、左右どちらの手の指でタップしているのかをちゃんと判別しているのではないか、というのが仮説である。
この仮説を実証するには、どうやって左右の手の指を判別しているのかを突き止めるのが早道だと思い立った。
まぁ、そんなことを証明したからといって「どうってことはない」のだが、タッチパッドを使いこなすための修行にはなるかと、それにステイホームでもあることだし、いい暇潰しにはなるであろう。

左右半分に分かれている説

まず、簡単に思い付いたのは、タッチパッドの左右どちらかでタップされたかで左手、右手を判別するという単純なもの。
右手なら右半分でタップするであろうし、左手なら左半分を使うであろう、というもの。
これを試してみるのは簡単。右手を使って、タッチパッドの右半分と左半分で同じようにドラッグ操作できるかどうかを検証して見れば良い。
結果「どうもそうなっていない」ことがわかった。
タッチパッドの右半分で右手でドラッグ操作しても、左半分で右手でドラッグ操作しても、同じようにドラッグできる。
真ん中辺りを使っても問題なくできる。そりゃそうだよね。
この方法はダメだな。「左右半分に分かれている説」は却下。

カメラで覗き見している説

次に思い付いたのは、カメラでこっそり監視しているのではないか、ということ。今時の技術ならAIやらなんやらで顔認証できるくらいだから、カメラでタッチパッドの辺りをこっそりと監視していて、左右のどちらの手がタッチパッド上にあるのかを見ているのでは？
と思ったが、Zoomとかでカメラ使っていたら監視できないし、カメラの位置も操作している人が映るようにはなっているものの、手元までは写っていない。それにこっそりカメラ使うわけにも行かないだろうし、監視してますよ的な説明がないとおかしい。
同じようなことを考えている学者さんもいるようで、興味深い論文を見つけてしまった。
　https://www.iplab.cs.tsukuba.ac.jp/paper/master/nakamura_master.pdf
この論文によると、苦労してカメラ監視用の機械学習ソフトを作って、左右どちらの手でタップしているのかを判別可能にしたそうである。ということは、Macのタッチパッドは左右の指を認識できてない？
うーん、どうなのかなぁ... 改めて論文を読み返してみると、ちゃんと書いてあった(2パージ目)。どの指でタップしたのか、左右どちらの指なのかは識別できていないと...
えー、ある程度は識別されていると思うのだけど。まぁ、もう少し読み進めていってみよう。
４章までがカメラを使った指の識別システムの話。ここまでサラッと読むと「色々と問題はあるが、できなくもない」といった感じの内容であった。問題としては、机の色と肌の色が同色になるとダメとか、指がくっついちゃうとダメとか。
５章からはカメラで監視する方法はあきらめて、タッチパッドから得られる情報"のみ"でなんとか指の識別ができないか、といったテーマになっている。
でもって、カメラ監視のシステムはできるかどうかの検証用として、さらにはAIの学習用として使われたみたい。なるほどねぇ。
一番興味深いのは、その指の識別方法なのだが、タッチパッドと指の接触面がどのくらい斜めになっているかで(単純にそれだけではないと思うが)どの指かを判定しようというもの(図6.2がわかりやすい)。
で機械学習させたりして頑張ってみたものの、残念ながら「指の識別はできない」という結論に至った模様。しかし、親指とそれ以外くらいなら、80%を超える識別率となったそうである。
まぁねぇ、簡単に識別できるのなら、もうそうなっているでしょう。でも、ドラッグ操作の時は、左右の手を判別できているみたいなんだが...
「タッチパッドと指の接触面がどのくらい斜めになっているか」っていうのはイイ線いってるような気がする。

接触面の向きで左右を判別している説

普通にタッチパッドを使おうと思ったら、右手で操作する時は、手の先が左上に向いていると思われる。逆に左手なら右上に向く。

ドラッグの時は、最初にタッチした指の向きを覚えておいて、向きとは反対の方角にある指でないとドラッグ操作できないようになっているのではないか、と考えた。
それを検証するのは簡単、ちょっと斜めにしてドラッグ操作してみれば良いのである。
やってみると30度くらい斜めにしてみると、右手で人差し指と中指の組み合わせでドラッグできなくなる。この状態で指を入れ替えて中指でタップ、人差し指で移動するとドラッグできる。
多分これが正解だな。
といっても左右どちらの手の指であるのかについては判別しておらず、単に指の向きを計算して、ドラッグ操作で移動する指の範囲を制限しているだけのようである。現に、左手の指でタップ、右手で移動させてもできるわけなので。
なので、本記事の結論としては、トラックパッドがタップされたときに、
　指の向きは判別しているが、左右どちらの手の指なのか、どの指なのかまでは判別していない
ということで結びにしたい。