Технология EarCommand позволяет отдавать гаджетам голосовые команды без единого звука

Учёные из Университета штата Нью-Йорк (США) разработали систему EarCommand, которая способна считывать движения губ пользователя, даже когда он проговаривает слова про себя. Это позволяет взаимодействовать с техникой даже в шумном окружении, когда голос человека могут перебить посторонние звуки, а также давать запросы, которые не хочется говорить во всеуслышанье.

Это работает, потому что даже когда мы проговариваем слова беззвучно, мышцы и кости головы меняют положение, что также отражается в деформации ушного канала. Если научиться интерпретировать эти деформации, можно распознать, какие слова их вызывают — чем и занялись учёные.

С аппаратной точки зрения EarCommand похож на наушник-вкладыш, в котором используется динамик, обращённый внутрь, для передачи почти ультразвуковых сигналов в слуховой проход пользователя. Когда эти сигналы отражаются от внутренней поверхности канала, их эхо улавливается направленным внутрь микрофоном.

Эти сигналы анализируются компьютером, который с помощью специального алгоритма определяет деформацию слухового прохода и находит слово, которое могло её вызвать.

В проведённых тестах пользователи произносили 32 команды из одного слова и 25 команд-предложений. Частотой ошибок на уровне слов — 10,2%, на уровне предложений — 12,3%. В дальнейшем эти значения должны улучшаться по мере развития технологии. Более того, технология работает, даже когда пользователи носили маски или находились в шумной обстановке. Плюс, в отличие от некоторых других систем голосового управления без звука, EarCommand не использует камеру.

Это не единственная система с похожим принципом действия. Существует также EarHealth, разработанная в том же университете. Она использует наушники-вкладыши, излучающие эхосигналы, для выявления проблем с ушами вроде пробок ушной серы, разрыва барабанных перепонок и отита.