Google Home mini を拡張出来る方法を調べてみた

Read More

Google Home Mini を衝動的に買ってみたのだが思っていたのと違うところと知っていたことが有るので色々試す前に書いておく。

ここで書くのは標準で出来ないことを整理してみた。
まだまだ感があるが以下の3つの方法を組合せて処理を作ることになる。Google Home 自身はとても Speech to Text として優れている(特にmicが素晴らしい、我が家の騒音の中でも小声できちんと拾ってくれる)ので実用的な物が作れる感じを受けている。

ただしく組合せていけば Slackの通知(mention)を読み上げたり、Gmailに来たメールをIfttt経由で読み上げたりすることが出来る。また時報を鳴らしたり、温度を聞いたらRaspberry pi のセンサー読み取って読み上げたりすることも出来る。

全体

  • Google Homeからの発話は出来ない(常に「OK Gooke」のリアクションとなる)
  • Google Home を見ると、Gmailアドレスに「音声」を紐付けられる。1台で6人分まで認識するっぽい。なので「今日の予定を教えて」は個別のGmailカレンダーを参照に行ってくれる(みたい、試してない)この辺りSDKなどでどう認識するかは調べられていない
  • Voice UI の場合には、「認証」がないのでこの識別は非常に重要

発話に対しての処理を増やす

  • Google Home は、IFTTT と連携するのが一番簡単な拡張、「OK Google XXXX」で処理を動かせる。
  • この場合、実際の処理はWebHookを利用して動かす。
  • 会話はできず基本的には応答はおきない

Home対応アプリケーションを作る

  • SDKを利用してHome用のアプリが作成できる。
  • この仕組は「Actino on Google」という名称でサービス提供されている。
  • これは「OK Google , XXXにつなげて」というwakeup wordで動く。
  • アプリに繋がった後は抜けるまではずっとアプリ側で入力を制御できるので会話が出来る。
  • 会話の制御には DialogFlow が提供されているが、WatsonのConversationなどにもつなげることが出来るので用途次第で。
  • アプリは「公開」しなければならず「公開」には審査がある。またパブリックのアプリになるため私的には利用しづらい
  • 試験モードがあるが「talk to my test app(テストアプリにつなげて)」となる。

  • 蛇足だが、アプリ公開したらTシャツとGCPの利用クーポン貰えたという情報あり

Google Home からの発話

  • Nodejsの google home notificationライブラリ(これはChromecastのプロトコルハッキングらしい)を使うと Google Homeから音声が出せる。
  • リアクションは出来ない(待受のアプリは作れず、一方向)
  • 連携するためには外部からRaspiのWebhookを動かさねばならない。
  • gnork使っているケースが多い、後 firebase の Database 利用してる例もあり。
  • 音声が、Google Home 標準の「声」ではない別の声が反応する。これはGCPのtext to speech の音声?
  • 音声はmp3を再生することが可能なので https://cloud.voicetext.jp/webapi などで音声を生成してから発話するなどがググると見つかる

一緒に購入すると面白そうなのはやはりリモコン系なので後で購入してみたいと思う。Chromecastをあわせて購入したが正直利用したいとおもうユースケースは思いつかなかった。やはり何かを操作する拡張が面白いと思われる

.

Google Home Mini を買った

Read More

droneを買わずに勢いでGoogle Home miniとChrimecastを購入。使ってみないと利便性は分からない。まだまだアプリが少ないようなのでまだまだくだらないものでも公開できそう。

説明書もなく、スマホのアプリからサクッと設定。ブルートゥースのリンクでしているのでしょうかこのあたりとても便利です。

子供達のはしゃぎ声のなか、「Ok Google」がきちんと反応して感動。

NodeJsのプロセス管理ツール pm2 のアップデートと自動起動の設定

Read More

Node-RED のプロセス管理ツールとして PM2 を利用しています。
少し時間が立ったので pm2 自体をアップデートしたので方法をメモしておきます。

現在の状態を保管

pm2 save
sudo npm install pm2 -g

利用しているユーザ(pi) で pm2 updateを実行します。
この際、登録していたアプリケーションが消えてしまったので再起動しておきます。

Raspberry pi の場合には systemd を利用していますので pm2 startup コマンドでシステム起動時の自動起動が設定できます。

もし自動起動をしていない場合には次のコマンドで登録できます。こんかい場合には ndenv を入れているので次のコマンドに成ります。

sudo env PATH=$PATH:/usr/local/ndenv/versions/v6.12.2/bin /usr/local/ndenv/versions/v6.12.2/lib/node_modules/pm2/bin/pm2 startup systemd -u pi --hp /home/pi

これで /etc/systemd/system/pm2-pi.service が生成されます。

[Unit]
Description=PM2 process manager
Documentation=https://pm2.keymetrics.io/
After=network.target

[Service]
Type=forking
User=pi
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
Environment=PATH=/usr/local/ndenv/versions/v6.12.2/bin:/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin
Environment=PM2_HOME=/home/pi/.pm2
PIDFile=/home/pi/.pm2/pm2.pid

ExecStart=/usr/local/ndenv/versions/v6.12.2/lib/node_modules/pm2/bin/pm2 resurrect
ExecReload=/usr/local/ndenv/versions/v6.12.2/lib/node_modules/pm2/bin/pm2 reload all
ExecStop=/usr/local/ndenv/versions/v6.12.2/lib/node_modules/pm2/bin/pm2 kill

[Install]
WantedBy=multi-user.target

これでsystemdに登録されれています。ランレベルは multi-user レベル(昔のランレベル3,4,5に相当)となっていますね。

$ systemctl status pm2-pi
● pm2-pi.service - PM2 process manager
   Loaded: loaded (/etc/systemd/system/pm2-pi.service; enabled; vendor preset: enabled)
   Active: active (running) since Sun 2018-02-04 11:54:39 JST; 8min ago
     Docs: https://pm2.keymetrics.io/
 Main PID: 16500 (PM2 v2.9.3: God)
   CGroup: /system.slice/pm2-pi.service
           ‣ 16500 PM2 v2.9.3: God Daemon (/home/pi/.pm2)

Feb 04 11:54:37 homepi pm2[6414]: [PM2] Process /usr/local/bin/homebridge restored
Feb 04 11:54:38 homepi pm2[6414]: [PM2] Process /home/pi/local/node-red/node_modules/node-red/red.js restored
Feb 04 11:54:39 homepi pm2[6414]: ┌────────────┬────┬──────┬──────┬────────┬─────────┬────────┬─────┬───────────┬───────────┬─────
Feb 04 11:54:39 homepi pm2[6414]: │ App name   │ id │ mode │ pid  │ status │ restart │ uptime │ cpu │ mem       │ user      │ watc
Feb 04 11:54:39 homepi pm2[6414]: ├────────────┼────┼──────┼──────┼────────┼─────────┼────────┼─────┼───────────┼───────────┼─────
Feb 04 11:54:39 homepi pm2[6414]: │ homebridge │ 0  │ fork │ 6511 │ online │ 0       │ 2s     │ 49% │ 17.2 MB   │ undefined │ disa
Feb 04 11:54:39 homepi pm2[6414]: │ red        │ 1  │ fork │ 6517 │ online │ 0       │ 2s     │ 26% │ 16.7 MB   │ undefined │ disa
Feb 04 11:54:39 homepi pm2[6414]: └────────────┴────┴──────┴──────┴────────┴─────────┴────────┴─────┴───────────┴───────────┴─────
Feb 04 11:54:39 homepi pm2[6414]:  Use `pm2 show <id|name>` to get more details about an app
Feb 04 11:54:39 homepi systemd[1]: Started PM2 process manager.

最後、いちおうRaspberryPiを再起動して確認しておきます