Galatea Dialog Studio による実習

since 2009-08

<html> <div class="amazlet-box" style="margin-bottom:0px;"><div class="amazlet-image" style="float:left;margin:0px 12px 1px 0px;"><a href="http://www.amazon.co.jp/exec/obidos/ASIN/462784901X/r4wh-22/ref=nosim/" name="amazletlink" target="_blank"><img src="http://ecx.images-amazon.com/images/I/51%2BSpx8VNIL._SL160_.jpg" alt="フリーソフトで学ぶセマンティックWebとインタラクション" style="border: none;" /></a></div><div class="amazlet-info" style="line-height:120%; margin-bottom: 10px"><div class="amazlet-name" style="margin-bottom:10px;line-height:120%"><a href="http://www.amazon.co.jp/exec/obidos/ASIN/462784901X/r4wh-22/ref=nosim/" name="amazletlink" target="_blank">フリーソフトで学ぶセマンティックWebとインタラクション</a><div class="amazlet-powered-date" style="font-size:80%;margin-top:5px;line-height:120%">posted with <a href="http://www.amazlet.com/browse/ASIN/462784901X/r4wh-22/ref=nosim/" title="フリーソフトで学ぶセマンティックWebとインタラクション" target="_blank">amazlet</a> at 11.07.09</div></div><div class="amazlet-detail">荒木雅弘 <br />森北出版 <br />売り上げランキング: 581513<br /></div><div class="amazlet-sub-info" style="float: left;"><div class="amazlet-link" style="margin-top: 5px"><a href="http://www.amazon.co.jp/exec/obidos/ASIN/462784901X/r4wh-22/ref=nosim/" name="amazletlink" target="_blank">Amazon.co.jp で詳細を見る</a></div></div></div><div class="amazlet-footer" style="clear: left"></div></div> </html>

<html> <div class="amazlet-box" style="margin-bottom:0px;"><div class="amazlet-image" style="float:left;margin:0px 12px 1px 0px;"><a href="http://www.amazon.co.jp/exec/obidos/ASIN/4627847114/r4wh-22/ref=nosim/" name="amazletlink" target="_blank"><img src="http://ecx.images-amazon.com/images/I/519Jh4Vxl9L._SL160_.jpg" alt="フリーソフトでつくる音声認識システム - パターン認識・機械学習の初歩から対話システムまで" style="border: none;" /></a></div><div class="amazlet-info" style="line-height:120%; margin-bottom: 10px"><div class="amazlet-name" style="margin-bottom:10px;line-height:120%"><a href="http://www.amazon.co.jp/exec/obidos/ASIN/4627847114/r4wh-22/ref=nosim/" name="amazletlink" target="_blank">フリーソフトでつくる音声認識システム - パターン認識・機械学習の初歩から対話システムまで</a><div class="amazlet-powered-date" style="font-size:80%;margin-top:5px;line-height:120%">posted with <a href="http://www.amazlet.com/browse/ASIN/4627847114/r4wh-22/ref=nosim/" title="フリーソフトでつくる音声認識システム - パターン認識・機械学習の初歩から対話システムまで" target="_blank">amazlet</a> at 11.07.09</div></div><div class="amazlet-detail">荒木雅弘 <br />森北出版 <br />売り上げランキング: 11943<br /></div><div class="amazlet-sub-info" style="float: left;"><div class="amazlet-link" style="margin-top: 5px"><a href="http://www.amazon.co.jp/exec/obidos/ASIN/4627847114/r4wh-22/ref=nosim/" name="amazletlink" target="_blank">Amazon.co.jp で詳細を見る</a></div></div></div><div class="amazlet-footer" style="clear: left"></div></div> </html>

実習の記録

2009年版スライド(ppt) nishimoto2009istc08v1.ppt

2009年度の実習時に補足したこと、気づいたこと

いままでの実習＝改変可能な個別のパーツとして、この実習＝一つのまとまったシステムとして
native 要素の説明をするために Galatea プロトコルの説明が必要
サンプル中の grammar 要素の version 属性は不要なはず
slot 属性と fieid name 属性の対応
DialogStudio のログ画面の説明
gtalk の辞書で席種＝セキシュを追加する必要があった
演習３：どこに filled を書くべきか、分かりにくい
実演した内容：Webアプリケーションとしての VXML, Rails との連携、タスク内制御はFIAで・タスク間制御は Controller で
- dialogstudio_rails

2009年度の受講者に配付されたライブ環境に関するメモ

ubuntu_customization_kit
TODO: Ubuntu Linux ベースの Live DVD（または USB メモリ）環境で Galatea Dialog Studio を使用します。
TODO: ライブ環境を作るときに /usr/local/galatea-demo/ に form.vxml と ticket.vxml を置いておく
TODO: /usr/local/bin/galatea-killall を作る
TODO: wavesurfer を入れる
Ruby on Rails は入れないつもり

概要

2005年頃 ISTC で行った Galatea Toolkit 講習会の内容（「音声対話」PowerPointファイル）をツールの更新にあわせて見直し中。
2009年度および2010年度の実習環境は EUC-JP ベースの Redhat Enterprise Linux
- 下記の手順 Ubuntu 9.04 (GNOME) に基づいて改定?
- UTF-8 に統一?

ドキュメント : http://galatea.sourceforge.jp/galatea-doc/main_ja.html
$ から始まる行は「アプリケーション」-「アクセサリ」-「端末」でキーボードから入力する作業です（先頭の $ は入力不要です）

用意するファイル

galatea-vxml-100826.zip の中の form.vxml および ticket.vxml （いずれもEUC-JPで保存されている）

演習課題（抜粋）

駅名、枚数などを変更して動作を確認して下さい。どのような単語が入力可能なのかは、リスト1 のgrammar 要素を見て下さい。また、誤認識が起こったときに、(goto 要素などがないにも関わらず)なぜ対話の最初に戻るのか考えてみてください。
リスト 1 のticket.vxml に、席種をたずねる対話を追加してください。席種はグリーン・指定席・自由席があるものとします。また、席種の確認も行うように確認の対話も変更してください。
出発駅と到着駅が同じであるかどうかをチェックし、同じであれば「不適切な入力です。」と応答して、対話を最初からやりなおすようにリスト1 のticket.vxml を変更してください。

リスト１

<?xml version="1.0" encoding="utf-8" ?>
<vxml version="2.0" xml:lang="ja">
<form id="form1">
<block>
<native>to @AM-MCL set AutoEmotionSpeak = 1</native>
<native>to @AM-MCL set AutoMove = 1</native>
<native>to @AM-MCL set AutoGaze = 1</native>
<native>to @FS-MCL set Background = woman01 bg1</native>
<native>to @AM-MCL set Mask = woman01 HAPPY 100 0 0 0</native>
</block>
<field name="source">
 <prompt>
 こちらは特急券販売システムです。出発駅をどうぞ。
 </prompt>
 <grammar root="#station1">
  <rule id="station1">
   <one-of>
    <item> <token sym="まいくてすと"> マイクテスト </token> </item>
    <item> <token sym="とうきょう" slot="source"> 東京 </token> </item>
    <item> <token sym="しながわ" slot="source"> 品川 </token> </item>
    <item> <token sym="なごや" slot="source"> 名古屋 </token> </item>
    <item> <token sym="きょうと" slot="source"> 京都 </token> </item>
    <item> <token sym="しんおおさか" slot="source"> 新大阪 </token> </item>
   </one-of>
  </rule>
 </grammar>
</field>
<field name="dest">
 <prompt>
 到着駅をどうぞ。
 </prompt>
 <grammar root="#station1">
  <rule id="station1">
   <one-of>
    <item> <token sym="まいくてすと"> マイクテスト </token> </item>
    <item> <token sym="とうきょう" slot="dest"> 東京 </token> </item>
    <item> <token sym="しながわ" slot="dest"> 品川 </token> </item>
    <item> <token sym="なごや" slot="dest"> 名古屋 </token> </item>
    <item> <token sym="きょうと" slot="dest"> 京都 </token> </item>
    <item> <token sym="しんおおさか" slot="dest"> 新大阪 </token> </item>
   </one-of>
  </rule>
 </grammar>
</field>
<field name="num">
 <prompt>
 枚数をどうぞ
 </prompt>
 <grammar version="1.0" root="#maisuu">
  <rule id="maisuu">
    <ruleref uri="#digit"/>
    <ruleref uri="#mai"/>
  </rule>
  <rule id="digit">
   <one-of>
    <item> <token sym="いち" slot="num"> １ </token> </item>
    <item> <token sym="に" slot="num"> ２ </token> </item>
    <item> <token sym="さん" slot="num"> ３ </token> </item>
   </one-of>
  </rule>
  <rule id="mai">
    <item> <token sym="まい"> 枚 </token> </item>
  </rule>
 </grammar>
</field>
<field name="confirm">
 <prompt>
  <value expr="source"/>駅から
  <value expr="dest"/>駅まで
  <value expr="num"/>枚ですね。
  よろしいですか
 </prompt>
 <grammar root="#yes_no">
  <rule id="yes_no">
   <one-of>
    <item> <token sym="はい" slot="confirm" value="y"> はい </token> </item>
    <item> <token sym="よろしいです" slot="confirm" value="y"> よろしいです </token> </item>
    <item> <token sym="いいえ" slot="confirm" value="n"> いいえ </token> </item> 
   </one-of>
  </rule>
 </grammar>
 <filled>
   <if cond="confirm == 'y'">
     御購入ありがとうございました。
     <goto next="#form1"/>
   <else/>
     もうしわけありません。最初からやりなおして下さい。
     <clear/>
   </if>
 </filled>
</field>
</form>
</vxml>

演習の流れ

Ubuntu 9.04 + Intel Video Driver では顔画像表示モジュール(FSM)は3Dデスクトップ効果と互換性がありません（画面が乱れます）．あらかじめ以下を設定してください．

システム → 設定 → 外観の設定 → 視覚効果 → 効果なし(N) を選択

音声入出力に関する準備
- ヘッドセットマイク
対話マネージャの基本操作
- サンプル対話の実行
対話シナリオの変更・拡張
- VXML ファイルのコピー・編集・実行

* 片付け（必須） * 一時ファイルの消去

ヘッドセットの準備

ヘッドセットマイクの接続
音量の設定
- スピーカーのアイコン - [音量調整ツール]
音声の取り込みテスト

$ wavesurfer

実習：手順１

Galatea Dialog Studioの実行

$ cp /usr/local/galatea-dialog/files/tests/vxml/form.vxml .
$ galatea-runner form.vxml

* : 上記の form.vxml は EUC-JP

対話例は後述（マイクOFFのまま）

終了（メニューからは終了できない）
- ターミナルにフォーカス指定して Ctrl+C

: 実習環境で ticket.vxml を提供しておく必要あり

Dialog Studioの操作

アドレスボックス / [Go]
- 実行中のファイル名または URL を表示
- ファイル名などを入力して [Go] を押すと、指定された対話を開始
- 実行中の対話があれば終了して実行

[Validate]
- ファイル内容の文法などをチェック
- ただし実行時エラーはチェックできない
- 実行中の対話に影響を与えない

[Run]
- Pauseで中断中の対話の再開

[Pause]
- 実行中の対話を一時中断・再開
- 発話中の場合は、現在出力中の音声などを出力し終えてから待機
- 注意：すぐに止まらないことがある

[File] - [Open Local File…]
- ダイアログからファイルを指定して実行

[Face] - [AgentEnable]/[AgentDisable]
- エージェントを一時的に表示・非表示

[Face] - [Texture]/[Wireframe]/…
- エージェントの表示方法を切替

[Mask]
- 顔と声を同時に切替える
- 制約：組み合わせは固定

[Auto] - [AutoMove ON/OFF]
- 顔の制御を実行・停止

[Auto] - [AutoGaze ON/OFF]
- 視線の制御を実行・停止

[Auto] - [EmotionSpeak ON/OFF]
- 感情切替による声の制御を有効化・無効化

[Expression]
- 感情を切替（AutoMove ON にて有効）

[Demo] - [Nod]/[Say Hello]
- うなずく動作や音声合成のデモ

[Demo] - [Demo1]/[Demo2]/[Demo3]
- 定義済み対話デモ
- 実行中に内容を閲覧するには、Source タブを使う。

実習：手順２

マイクをONにする
アドレスボックスを確認 : form.vxml
[Go] を押して対話

実習：手順３

対話例(form.vxml)
- ガラティアカフェにようこそ
- テイクアウトですか？
- 「はい」「いいえ」
お飲み物は何になさいますか？
- 「コーヒー」「紅茶」
- 参考：「コーヒーのホット」なども受理可能
ホットとアイスのどちらがいいですか？
- 「ホット」「アイス」

実習：手順４

ファイルの実行（演習課題１）

$ galatea-runner ticket.vxml

修正するための準備（演習課題２・３）

$ cp ticket.vxml ticket2.vxml
$ cp ticket.vxml ticket3.vxml

実習：手順５

演習課題１＝ticket.vxml（元ファイル）
- 動作確認（さまざまな駅名や枚数で）
- grammar要素の確認

演習課題２＝ticket2.vxml （コピー）
- 席種を尋ねる対話とその確認対話を追加
- グリーン車、指定席、自由席

演習課題３＝ticket3.vxml （コピー）
- 出発駅と到着駅が同じでないようにチェック

実習：手順６

ticket2.vxmlの編集（3も同様）

[アプリケーション] - [アクセサリ] - [テキスト・エディタ]
あるいは
$ gedit

修正したファイルの実行

$ galatea-runner ticket2.vxml

注意事項

日本語入力
- 日本語キーボードの「半角／全角」で切替

XML の規則（HTML より厳しい）
- タグの入れ子構造
- 大文字小文字、全角半角の区別
- 属性の値は"" で囲む
- [Validate] で確認できる

XMLを読みやすくするために
- <!– と –> ではさまれた部分はコメント
  - ただし入れ子にはできない
- 改行や空行・字下げは自由に行ってよい
Dialog Studio が不正終了したら
- 不要プロセスが残る場合がある
- : 不要プロセスの消去： $ galatea-killall

ヒント

field要素のname属性と一致させるもの
- token要素のslot属性（grammar）
- value要素のexpr属性（prompt）
出力の<prompt> 要素を省略できない場合
- <field> の中で用いる場合
- 属性指定：<prompt bargein="false"> など
- 読み上げ方を指定する要素を含む場合
  - GalateaTalk(JEIDA) およびW3C に準拠

Dialog Studioのドキュメント

演習課題２の回答例

席種を「セキシュ」と強制的に読ませるためにPRONを使ってみる：

<!-- 演習２：field "num" の後に追加 -->
<field name="type">
 <prompt><PRON SYM="セキシュ">席種</PRON>をどうぞ</prompt>
 <grammar version="1.0" root="#seat">
  <rule id="seat">
   <one-of>
    <item> <token sym="ぐりーんしゃ" slot="type"> グリーン車 </token> </item>
    <item> <token sym="していせき" slot="type"> 指定席 </token> </item>
    <item> <token sym="じゆうせき" slot="type"> 自由席 </token> </item>
   </one-of>
  </rule>
 </grammar>
</field>
<field name="confirm">
 <prompt>
  <value expr="source"/>駅から
  <value expr="dest"/>駅まで
  <value expr="type"/>を  <!-- 演習２：この行を追加 -->
  <value expr="num"/>枚ですね。
  よろしいですか
 </prompt>

演習課題３の回答例

<!-- 演習３：field confirm の後の filled を修正 -->
<filled>
   <if cond="source == dest">
     不適切な入力です。
     <goto next="#form1"/>
   <elseif cond="confirm == 'y'"/>
     御購入ありがとうございました。
     <goto next="#form1"/>
   <else/>
     もうしわけありません。最初からやりなおして下さい。
     <clear/>
   </if>
</filled>

この例は枚数を確認して「よろしいですか」の確認の後でチェックをするので、不親切である。

すべての field は filled を持ちうるので、field dest の grammar の後に下記のように記述することもできる。

 <filled>
   <if cond="source == dest">
     不適切な入力です。
     <clear namelist="source dest"/>
   </if>
 </filled>

実習：手順７（最後）

ログアウトする前に実行してください
: プロセスの終了

$ galatea-killall

~~一時ファイルの消去 $ ./deltmp~~

シャットダウンしてください
ヘッドセットを回収します

ja.nishimotz.com

目次