Новый multi-touch от Apple: распознавание голоса, взгляда и выражения лица

Информация о поданных Apple заявках на патенты позволяет нам узнать, что мы можем ожидать от компании в будущем. Например, за год до выпуска iPhone, можно было наблюдать целый ряд патентов на технологию многоточечного ввода multi-touch. И хотя многие идеи могут так никогда и не выйти на рынок, они дают представление о направлении исследований, в котором движется компания.

Одна из самых последних патентных заявок от Apple называется «Объединение данных многоточечного ввода» (Multitouch Data Fusion), где исследуются другие способы ввода, которые помогут улучшить существующую технологию multi-touch. Они включают в себя:

  • Распознавание голоса
  • Слежение за движением пальцев
  • Направление взгляда
  • Выражение лица
  • Движение портативного устройства
  • Биометрические данные (температура тела, сердечный ритм, электрическое сопротивление кожи, размер зрачка)

 Голосовой ввод

В патентной заявке приводятся примеры, как можно сочетать эти методы. Так, например, вы сможете пальцем выделить текст, сказать «копировать», перейти в другое приложение и сказать «вставить» — что намного облегчит эту частую задачу. А дополнительная камера, встроенная в ноутбук или настольный компьютер, сможет следить за движением ваших пальцев, позволяя управлять компьютером, даже не касаясь клавиш на клавиатуре. Другая камера при этом сможет следить за направлением вашего взгляда, и определять объекты на экране, на которые вы смотрите в данный момент. Эта же камера заметит выражение разочарования на вашем лице, и даст подсказки или даже изменит способы ввода. В приведённом в заявке примере говорится о пользователе, пытающемся пролистать содержимое экрана, используя три пальца вместо двух. Заметив ваше разочарование, компьютер может либо допустить этот неверный способ ввода, либо дать человеку нужную подсказку. Или, используя встроенный в портативные устройства акселерометр, система сможет применить различные эффекты к картинке на экране или музыкальной дорожке, проигрываемой в данный момент, увеличивая и ослабляя их в зависимости от силы воздействия.

Авторами патентной заявки являются Вейн Вестерман и Джон Элиас, основатели новаторской фирмы FingerWorks, которая была приобретена Apple и уже явилась источником нескольких патентов на технологию multi-touch.