Лучшее
Рубрики
Рецепты
Промокоды
Подкасты
Сервисы
Колонки
Лучшее
Рубрики
Рецепты
Промокоды
Подкасты
Сервисы
Колонки
Теории большого мира
Новости
Здоровье
Спорт и фитнес
Покупки
Технологии
Научпоп
Отношения
Реклама
Веб-сервисы Музыка 18 октября 2013

Умный дом своими руками: Голосовое управление музыкой с Яндекс.Музыки

Фото автора Дмитрий Че
Дмитрий Че

Умный дом своими руками: Голосовое управление музыкой с Яндекс.Музыки
Избранное

От редактора: Когда я увидел видеоролики Дмитрия, на которых он голосом дома запускал Lady Gaga и выставлял уровень света на 70%, то в голове проскочила мысль — «Эй! А ведь именно это и есть умный дом». Дмитрий занимается построением умного дома, который адаптируется под него, слушает его голос. А выглядит это все круче какого-то там Энтерпрайза! В цикле статей, который начинается этим материалом, наш гость расскажет как построить показанные решения. Это так просто, что похоже на магию!

Многие пользователи Андроида уже наверно попробовали российский аналог голосового ассистента Siri под названием «Ассистент на русском». Он умеет воспринимать голосовые команды и выполнять различные действия с девайсом.

Но, конечно, немногие догадываются, что это приложение представляет собой еще и открытую голосовую платформу для создания аддонов, которые могут расширять имеющиеся возможности ассистента.

Будучи Android-разработчиком голосовых приложений я заинтересовался возможностью заставить работать Ассистента не только с девайсом, на котором он установлен, но и за его пределами. А точнее — создать аддон, с помощью которого Ассистент сможет выполнять голосовые команды на удаленном компьютере, телевизоре или даже на отдельно взятой электронной розетке!

Для этого я получил у разработчиков «Ассистента на русском» API для сторонних программистов (оно пока еще находится в тестировании и не имеет публичной документации) и попробовал реализовать возможность управления сайтом Яндекс-Музыка.

Что из этого получилось можно увидеть на видео ↓

Теперь Ассистент умеет запускать любой трек, который найдет на Яндекс.Музыке, останавливать, искать другой и т.д. В общем, все что должен уметь обыкновенный плеер. Только с помощью голоса!

Ассистент при этом подключается к браузеру за счет прикосновения телефоном к NFC метке. Вау-эффект в компании друзей обеспечен!

Чтобы все заработало, потребуется компьютер под управлением Windows, с установленным браузером Chrome, Java 6 и приложением Ассистент Коннект.

На компьютере нужно запустить «Ассистент Коннект» и указать код NFC-метки или любой другой код, сгенерированный, например, на сайте QrCoder. Это потребуется, если на смартфоне нет NFC и тогда подключиться к компьютеру можно с помощью QR кода.

На смартфон нужно установить «Ассистент на русском» и аддон Ассистент Коннект. После установки аддона Ассистент сам поймет, как обрабатывать новые команды и при фразе «Поставь музыку» предложит соединиться с компьютером.

После «волшебного прикосновения» к NFC на компьютере запустится хром с уже открытым сайтом Яндекс Музыки и Ассистент войдет в контекст общения с этим сайтом. Теперь все голосовые запросы от пользователя будут восприниматься только в «музыкальном» контексте, а для выходы необходимо просто сказать «Отмена» или «Выход».

Как то же самое работает не только с Яндекс Музкой, но и с любым другим сайтом, можно увидеть ниже:

При этом ничего не надо устанавливать на компьютере, а сам браузер может работать вообще где угодно — даже на Smart TV.

Все описанное каждый может повторить в домашних условиях. Это показывает, как голосовые технологии могут работать за пределами тех устройств, на которых они традиционно применяются в последнее время. И «Ассистент на русском» при этом позволяет сторонним программистам реализовывать самые необычные подходы.

В следующей статье я покажу реализацию возможностей по голосовому управлению электронными приборами и домашним кинотеатром XBMC с помощью все того же аддона к «Ассистенту на русском».

Если нашли ошибку, выделите текст и нажмите Ctrl + Enter
Избранное
Комментарии
Daniel Ischenko
18.10.13 17:04
Мы создали речевой универсальный пульт. Нажимаешь, говоришь, получаешь результат. Wow эффект в том, что работает со всей домашней техникой. proof of life: https://www.youtube.com/watch?v=_tPjAKZhjtQ https://www.youtube.com/watch?v=wd8Iaif0Y-8 Пульт готовим к выпуску и продажам. Работать будет не от придуманных нами команд, но вашими командами. Любой длины, в любом количестве. И немедленно. ))))
Дмитрий Че
19.10.13 11:44
А у Ассистента на русском есть открытое апи для разработчиков, которые могут создавать такие пульты пачками )) Кстати в следующей статье я такой пульт сделаю с помощью Ассистента, который может работать на ЛЮБОМ андроид девайсе. Ваш пульт работает только с ИК портом?
Daniel Ischenko
19.10.13 17:39
Хе, удачи, брат. А твой андроид девайс имеет ИК? А система распознавания у тебя собственная? Или ты платить будешь другим? А возможность создавать собственные команды в режиме реального времени у тебя тоже будет? Do your homework, bro.
Дмитрий Че
19.10.13 17:55
Ха, брат! А система распознавания у гугла - а она как известно распознает все, а не только то что в грамматике. А команды можно делать в ассистенте свои уже сейчас. А ик есть на galaxy s4 или note 2 и тд. А если сильно нужно - можно и ик бластер купить. А возможно с вашего пульта сказать - "Включи-ка мне футбол дружище" - и чтобы он сам нашел где сейчас футбол и щелкнул туда? А я такое сделаю легко - тк это андроид, брат ))
Daniel Ischenko
19.10.13 18:13
Я так понимаю, Вы реально не понимаете. Вы напишете программку, которая пользует чьи-то разработки. Мы создали систему распознавания сами. И устройство сами, и произведем сами. И еще не забывайте, что на программках не заработать. Тем более "да я да ща как создам" это очень круто звучит. Но не более. Создайте, тогда вернемся к разговору.
Дмитрий Че
19.10.13 18:17
Система распознавания сама по себе ничего не решает. Решает только то, как вы этим можете воспользоваться. И устройство создать сегодня - не такая уж проблема. И на программах заработать - тут вы не правы.
Daniel Ischenko
19.10.13 18:20
Система распознавания решает. Не владеете вопросом. Думаете, Гугль свое распознавание начал делать оттого, что делать нечего? А самсунг свои разработки тоже пытается делать от глупости? Системы распознавания разные: назначение, реализация, математика, наконец. Устройство разработать тоже можно, да, но не думаю, что у Вас под матрацем лежит лишняя сотня тысяч долларов (и то, неясно, хватит ли). А на программках не заработаешь. На кашу, да. На содержание семьи, путешествия, дом, машину и откладывать - нет. Редко, конечно, удается кому-то.
Дмитрий Че
19.10.13 18:45
Система распознавания решает только если она действительно подходит для тех задач. которые вы решаете. Если хочется сделать пульт, который нужно все время с собой таскать по квартире, и который умеет только ик сигналы выдавать - то можно купить недорогой проц, немножко памяти, микрофон и зашить сильно оптимизированную грамматику. Только не знаю - многим ли будет нужен такой девайс. А вот если у вас современный смарт, который должен уметь выполнять множество функций, то вам конечно в идеале нужна гибридная система распознавания, да еще и с вордспоттингом - так что ваша технология тут уже не поможет. А реально продвинутых систем распознавания сейчас во всем мире одна-две - нюанс и гугл.
Daniel Ischenko
19.10.13 18:50
Нюанс это диктовка. гугль - поиск. Разные системы. Гугль потому свою и стал делать, что нюанс не подошел. "Гибридная система распознавания" - это гениально! Сами придумали термин? ))))) Оптимизированную грамматику где возьмете? У ibm, google, ms, nuance у нас? И кто вам ее подарит? создайте конкурирующий продукт с гуглем и вам закроют доступ к системе. то же сделает ЛЮБОЙ поставщик системы. Так что независимости нет. И еще, в Вашем решении пользователь сможет добавлять свои команды на лету? А поставщик услуг в реальном времени? А телепрограмму распознать и сделать списком команд тоже сможете? А педеравать на сервер будете звук? Или у Вас есть своя система, которую можете вшить в устройство? А мощности какие потребуются?
Дмитрий Че
19.10.13 19:16
Да это вы оказывается в вопросе не разбираетесь, а не я )) Нюанс - это далеко не только диктовка. Посмотрите на Nuance VoCon Hybrid - отсюда и название технологии. И кстати она же используется в сири. Как вы думаете она и ваши контакты распознает и запросы в сеть в свободной форме? Команды на лету создаются в ассистенте, а не в моем решении - в этом и сила подхода открытого апи ассистента. И телепрограмму распознать можно вполне, и делать для этого список команд не нужно. И звук на сервер передавать не нужно. Вы тут какие-то жути пишете )) Я действительно знаю, как работают системы распознавания речи, и как работает ассистент. и какое у него апи. И даже знаю какие продукты делаете вы, и как они выглядят. И даже как хорошо распознает ваша система русский язык. Вот только непонятно. о чем вы со мной спорите?
Daniel Ischenko
19.10.13 19:21
А почему я не могу ответить на Ваш последний комментарий? Это вы закрыли возможность? Спорить, действительно, не о чем. Вы знаете продукты, но не знаете технологий. Вы разработчик, пользующий api, не ядро систем. Рад, что у Вас что-то получается. И еще раз, когда будет товар, на котором Вы сможете заработать буду рад продолжить спор.))) Еще ремарка о телепрограмме: мы скармливаем системе списки, да. Тем самым, уменьшаем количество ошибок и учитываем контекст. И делаем это не руками, а автоматом. Странно, что Вы, такой продвинутый, решили, что каждую команду надо создавать руками. Жду с нетерпением, когда Вы объявите о создании серьезного продукта.
Дмитрий Че
19.10.13 19:29
Ого, это я еще и технологий не знаю? ) Ну вы даете )) Не поверите - но чтобы учесть контекст можно и не скармливать списки. Тем более в системах, где контекст может меняться как угодно. У вас выполняется лишь одна операция - распознать одну команду из списка. А в ассистенте списка как такового и нет. Он сам на ходу определяет, о чем говорит пользователь. Система распознавания гугла здесь как раз как нельзя лучше подходит. И я жду, когда вы выпустите действительно нужное людям решение с распознаванием речи на русском.
Daniel Ischenko
19.10.13 19:29
Операжая Ваш ответ, хочу одернуть себя в первую очередь. Зря я к Вам привязался вовсе. Удачи Вам и извините, если обидел.
Дмитрий Че
19.10.13 19:49
Да как можно инженера обидеть в споре? Только вот у нас с вами весовые категории и планы разные. А про VoCon Hybrid все же почитайте - действительно штука классная. Мне даже довелось с ней поработать лично.
Александр Киселев
20.10.13 13:02
Все кто все еще считают что на программках не заработать больших денег пишите мне.
Igor Golov
19.11.13 17:34
Чувак, остынь. Ты не в теме.
Dmitry Mukhach
19.10.13 02:12
Не понял, как в run.bat ввести QRкод!?
Дмитрий Че
19.10.13 11:45
Запускаете run,bat и вводите значение в консоли. Или просто прописываете один раз и навсегда код в самом run.bat последним параметром.
Dmitry Mukhach
19.10.13 13:13
Вот такую ошибку кстати выдало: http://bit.ly/16X0jjW
Dmitry Mukhach
19.10.13 13:15
Сосканировал код - ничего не происходит... http://bit.ly/17zUmG6
Дмитрий Че
19.10.13 13:28
Хром должен быть установлен в стандартной папке, иначе программа не сможет его запустить. Если все сделаете как на видео - все заработает.
Dmitry Mukhach
19.10.13 13:32
Хром стоит тут: "C:Program Files (x86)GoogleChromeApplicationchrome.exe"
Dmitry Mukhach
19.10.13 13:33
Слеши только съелись сайтом... http://bit.ly/17zVGc8
Дмитрий Че
19.10.13 13:37
На смартфона должен быть ещё инет.
Dmitry Mukhach
19.10.13 13:49
Инет есть конечно... wifi в той же сети, что и комп. Может в этом дело? SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
Дмитрий Че
19.10.13 14:45
Нет, это не влияет. Наверно потому что программа не видит ваш хром. Должен стоять в папке как описано тут - http://bit.ly/18OqGqY
Dmitry Mukhach
19.10.13 14:55
В статье про 64 винду, да и про 8-ку ни слова... Ставил хром в папку по умолчанию...
Dmitry Mukhach
19.10.13 13:34
win8.1 64 bit java 7 chrome 32
Дмитрий Че
19.10.13 15:08
На видео показана работа под 7й 64 битной виндой и java 6
Dmitry Mukhach
19.10.13 15:20
А можете выйти со мной на связь в любом IM? Давайте вместе найдём причину и выложим её решение тут! Плиз :)
Алексей Чернов
21.10.13 14:30
Можно ли подобным образом соединить два Android-устройства? Например, смартфон и TV-stick на Андроиде?
Дмитрий Че
21.10.13 15:15
Это можно сделать любым образом. В ближайшем посте я покажу, как управлять домашним кинотеатром.
Kirill Parkhomenko
28.10.13 23:27
Вы написали "На компьютере нужно запустить «Ассистент Коннект»" а где его взять то для компа, перелопатил весь инет и сам комп))) понимаю что, что то не то делаю, разъясните милейший?
Евгений Пурескин
02.11.13 01:15
Идея замечательная. Но вот пользоваться буду только когда можно будет говорить команды в пустоту, а не в телефон или еще что-то. Так возможно сделать?
Igor Golov
19.11.13 16:08
Так вы же всё равно в микрофон говорите.
Дмитрий Че
19.11.13 16:59
Да, скоро в ассистенте будет реализована функция пробуждения по ключевой фразе
Igor Golov
19.11.13 17:30
Идея мегашикарна. Но почему сразу для компа не сделать такое? И так, чтобы без самртфона, а сразу с микрофона компа считывать? Технология и без смартфона WOW, сама по себе.
Дмитрий Че
19.11.13 17:35
Это демонстрация возможностей АПИ голсового Ассистента на русском, а не конечный продукт.
Антон Лысяков
15.12.13 03:04
Попробуйте Tasker и соответственно плагин к нему AutoVoice. Штука более гибкая чем этот голосовой ассистент! Он вообще может даже интегрироваться в Google Now и тогда командование телефону выглядит нативным. Как будто бы команды предустановлены разработчиками Google. Вот например демонстрация работы http://youtu.be/wI4bSMiO_xY
Дмитрий Че
06.01.14 22:51
Если вы разработчик, то апи ассистента - это гораздо более гибко чем любые auto voice и таскер
Pavlo Diatlov
06.01.14 22:45
При установке на самсунг ноут 2 асистентконет и запуска сего адона выдает ошибку : "приложение асистентконет остановлено". Помогите решить вопрос, есть желание потестить.
Дмитрий Че
06.01.14 22:49
Обновите ассистента и скачайте аддон заново
Pavlo Diatlov
06.01.14 23:35
Переустановил обе программы заново. Выдает ту же ошибку
Дмитрий Яровицын
10.01.14 19:16
к БОЛШОМУ СОЖАЛЕНИЮ НЕ НАДЕЖНО. Первыйраз заходит в Яндекс-музыку играет че говоришь до первой ошибки. как ошибка происходит никакой реакции. даже выход с сайта ручным закрытием страницы. при повторной попытке зайти (а это опять надо сгенерить QR код , прогнать его через бат ник. Сканируешь коннект пишет Музыка!! т.е. все зашибись а хром не открывается молчит собака. По ходу не находят друг друга коннект и хром вот и все. С браузером эшо хуже не открывается с первого раза. хотя посля сканирования кода говорит соединено парень юзай свой браузер. Я уже натанцевался с этими бубнами и с оплатой на гугле. и с установками всех этих порог. ВСЕ думаю наконец то будет работать ни хренааааа. помогите советом кажется ответ близко. Кстати XBMC тоже не робит прописываю IP адрес коннект пишет не вижу я его. хотя андроид пульт ду с этим же адресом пашет вот так.
Дмитрий Яровицын
13.01.14 11:18
У меня в Win 7 Crome установлен по умолчанию в месте C:\Program Files (x86)\Google\Chrome\Application. Пожалуйста подробно по нубски объясните как сделать так чтобы CromeDraiver заработал.
Информация
О проектеРубрикиРекламаРедакцияВакансии
Подписка
TelegramВКонтактеTwitterViberYouTubeИнициалRSS
Правила
Пользовательское соглашениеПолитика обработки персональных данныхПравила сообщества
18+Копирование материалов запрещено. Издание может получать комиссию от покупки товаров, представленных в публикациях