Google Assistant

since 2020-08-14

最近は DialogFlow 不要という話

参考

• https://gigazine.net/news/20200618-google-assistant-voice-global-2020/
• https://developers.googleblog.com/2020/06/announcing-actions-builder-actions-sdk.html
• https://developers.google.com/assistant/conversational/build#actions_sdk
• https://developers.google.com/assistant/conversational/build#actions_builder
• https://www.youtube.com/watch?list=PLOU2XLYxmsIJ5qQKAYt45zZNMU9h1Grpm&time_continue=2&v=Z1hxvniJ18s&feature=emb_logo

https://developers.google.com/assistant/conversational/build/projects

とりあえずここから手を付ける。

• https://console.actions.google.com/u/0/?pli=1

• New Project
  • プロジェクト名をつける → Firebase のプロジェクトになる
  • English
  • Japan
• What kind of Action do you want to build?
  • Custom を選ぶ。Hello World を選んでみる。
    • これが英語の応答のテンプレートなので、言語 English から試すことにした（後述）
  • Start Building を押す
• Actions Console で Develop を押すと、Actions Builder の説明と同じような画面になる

• Display Name
  • と書かれているが、呼びかけて起動するための名前であるらしい
  • いろいろ制約ある https://developers.google.com/assistant/console/policies/general-policies#name_requirements
  • 実際につけた名前とは違うが、ここでは "hello nantoka" 日本語では「ハローナントカ」と記述する

ブラウザでテスト

• テキスト入力で英語のテストを成功させる

日本語を追加

• 英語のテストを成功させてから日本語を追加する。
• ブラウザで日本語のテストもそれらしく動くようになる。
• 言語ごとに応答を切り替えるのは？ WebHook で English と Japanese の分岐をさせるのか、YAML のメッセージをどこかでローカライズできるのか。

開発は？

• GUI でフローを書く
• WebHook のコードはブラウザで編集できそう（JavaScript）
• SDK (CLI) をインストールしなくても開発ができそうだが。。

最初に作ったプロジェクトで失敗したこと

• 最初は What kind of Action do you want to build? で Smart Home を選んでみた
  • Actions Builder が見当たらない
• 次に言語 Japanese で作った
• ブラウザ（シミュレーター）でのテストは？
  • App cannot be tested because it does not yet support 'ja' as a locale と言われる
  • これか？ https://qiita.com/tutti225/items/11b0958eee93fde87f58

実機テストは？

• https://developers.google.com/assistant/console/publish
• https://developers.google.com/assistant/console/simulator#test_a_project
• https://note.com/mizutory/n/nfa9c5c6b2ca6
• Action Console > Test の Settings に On device testing という項目があり、有効になっている
  • Select this to test your Actions on all Assistant enabled devices connected to …
  • このアカウントで有効化しているスピーカーが日本語で運用されている
• やってみるがうまくいかない
  • 「すみません。 ハローナントカから応答がありません。 後ほどもう一度試してください」
  • しばらくしたら「すみません。よくわかりませんでした」になったが。。

実は Display Name の pronunciation が大事

• https://developers.google.com/assistant/smarthome/develop/testing
• On your phone, open the Google Assistant settings と書かれている
• Android の「設定」で検索したら「アシスタントのアクティビティ」を見つけた
• 「最近のアクティビティ」に以下があった（実際の例ではない。キーワードを改変している）
  • ブラウザからテキストで入力した履歴「ハローナントカにつないで と言いました」→ ハローナントカ、はい、ハローナントカのテストバージョンです。（以下略）
  • スマートスピーカーから音声で入力した履歴「ハローナン トカにつないで と言いました」→ すみません。よくわかりませんでした
• なるほど Display Name が間違って形態素解析されているのか。。
  • 「ハローナントカ」と「ハローナン トカ」が同じものとみなされていない？
• じゃあ「Modify the pronunciation if it doesn't sound right」のところで「はろーなんとか」と（カタカナをひらがなに書き換えて）登録してみよう
• スマートスピーカーで動くようになった
  • 履歴「はろーなんとかにつないで と言いました」→ ハローナントカ わかりました はろーなんとかのテストバージョンです。（以下略）