The next version of MMDAgent

December 25, 2017

The next version of MMDAgent will be released after spring 2018.
We are working for renovation of the Voice Interactive Digital Signage system http://mei.web.nitech.ac.jp/ .

=== Japanese ========================================

次のバージョンのMMDAgentのリリースは2018年春を予定しています.
2018年春を目指して正門メイちゃん http://mei.web.nitech.ac.jp/ のリニューアル作業中です.

MMDAgent version 1.7 Release

December 25, 2016

MMDAgent version 1.7 was released.

  • support iOS.
  • add menu function.
  • add prompt function.
  • remove file viewer plugin and add internal file browser.
  • add plugin to display text and image.
  • add English TTS plugin.
  • add English acoustic model for speech recognition.
  • add CHANGE_CONF to RECOG_MODIFY command to change configuration of speech recognition.
  • fix some bugs.
  • update libraries (BulletPhysics 2.83.7, Julius 4.4.2.1, and Open JTalk 1.10).
  • fix some bugs.

=== Japanese ========================================

MMDAgent バージョン 1.7 を公開しました.

  • iOSのサポート.
  • メニューの追加.
  • プロンプトの追加.
  • コンテンツディレクトリを閲覧できるプラグインの削除と,ファイルビューワーの追加.
  • テキスト及び画像を表示するプラグインの追加.
  • 英語テキスト音声合成プラグインの追加.
  • 英語音声認識の音響モデルを追加.
  • RECOG_MODIFYコマンドにCHANGE_CONFオプションを追加.
  • 各種ライブラリ(BulletPhysics 2.83.7, Julius 4.4.2.1, Open JTalk 1.10)の更新.
  • いくつかのバグ修正.

MMDAgent version 1.6.1 was released.

  • support dialogue contents package (.mmda).
  • add plugin to open directory of dialogue contents package by SHIFT+O key.
  • fix some bugs.

=== Japanese ========================================

MMDAgent バージョン 1.6.1 を公開しました.

  • 音声対話コンテンツパッケージ(MMDAファイル)に対応.
  • SHIFT+O キーによってコンテンツディレクトリを閲覧できるプラグインの追加.
  • いくつかのバグ修正.

MMDAgent version 1.6 Release

December 25, 2015

MMDAgent version 1.6 was released.

  • change charcode of all strings in application from SJIS to UTF-8.
  • support rendering text for Mac OS X, Linux, and Android.
  • support playing audio for Android.
  • support regular expression for input symbol of FST.
  • add Windows installer.
  • add zip (dialogue contents package) loader.
  • remove some Makefiles (Visual Studio 2008, Carbon 32bit in Mac OS
    X, and MinGW).
  • add libraries and fonts (FreeType, RE2, Noto Fonts, UTF8-CPP, and
    Freetype GL).
  • fix some bugs.
  • update libraries (hts_engine API 1.10 and Open JTalk 1.09).

=== Japanese ========================================

MMDAgent バージョン 1.6 を公開しました.

  • アプリケーション内の全ての文字列を SJIS から UTF-8 に変更.
  • Mac OS X, Linux, Android 版にテキスト描画機能を追加.
  • Android 版にオーディオ再生機能を追加.
  • FST ファイルの入力シンボルとして正規表現によるマッチング機能を追加.
  • Windows 版のインストーラーを追加.
  • ZIP ファイルの音声対話コンテンツパッケージの読み込みに対応.
  • 古い Makefile を削除.
  • FreeType, RE2, Noto Fonts, UTF8-CPP, Freetype GL を追加.
  • いくつかのバグ修正.
  • 各種ライブラリ (hts_engine API 1.10, Open JTalk 1.09) の更新.

MMDAgent version 1.5 Release

December 25, 2014

MMDAgent version 1.5 was released.

  • add new fixed view of Julius log bar, can be toggled by SHIFT+J key.
  • support variables in FST files.
  • upgrade the speed of the shadow mapping.
  • modify the codes for the latest gcc of carbon 32bit in Mac OS X.
  • modify the codes for Visual Studio 2013.
  • fix some bugs.
  • update libraries (hts_engine API 1.09 and Open JTalk 1.08).

=== Japanese ========================================

MMDAgent バージョン 1.5 を公開しました.

  • SHIFT+J キーで切り替え可能な音声認識のログ出力機能を追加.
  • FST ファイル内の変数をサポート.
  • シャドウマッピングの高速化.
  • 最新の 32bit Mac OS X の gcc に対応.
  • Visual Studio 2013 に対応.
  • いくつかのバグ修正.
  • 各種ライブラリ (hts_engine API 1.09, Open JTalk 1.08) の更新.

You can mount a 3-D object onto another object by specifying the target model in the 7th argument of MODEL_ADD.  In the example below, the spinning menu is attached to a model with alias name “mei”. This command is used in the “Sample Script” of MMDAgent.

  0 1 <eps> MODEL_ADD|menu|Accessory\menu\menu.pmd|0.0,-4.5,0.0|0.0,0.0,0.0|ON|mei

You can also specify a target bone where the model should be mounted. The following example mounts the menu on the right wrist of the model. (“右手首” means “right wrist” in Japanese)

  0 1 <eps> MODEL_ADD|menu|Accessory\menu\menu.pmd|7,-1.5,0|0,90,90|ON|mei|右手首

manu_on_wrist

=== Japanese ========================================

ある3Dモデルを別のモデルに載せて表示するには,載せる対象のモデルをMODEL_ADDコマンドの7番目のオプションで指定します.たとえば,モデルエイリアス名meiのモデルに回転メニューを追従して表示させる場合は,以下のように記述します.これは,MMDAgent本体と同時に配布されている「Sample Script」でも使われています.

  0 1 <eps> MODEL_ADD|menu|Accessory\menu\menu.pmd|0.0,-4.5,0.0|0.0,0.0,0.0|ON|mei

また,ボーン名を追加で記述することで特定のボーン上に載せることもできます.以下の例では,meiの右手に回転メニューを載せています.

  0 1 <eps> MODEL_ADD|menu|Accessory\menu\menu.pmd|7,-1.5,0|0,90,90|ON|mei|右手首

manu_on_wrist

CC-BY-NC Copyright 2009-2013 Nagoya Institute of Technology (MMDAgent Model “Mei”)
CC-BY Copyright 2009-2013 Nagoya Institute of Technology (MMDAgent Accessory “NIT Menu”)

Setting and moving the camera

December 27, 2013

The camera view of MMDAgent can be handled in several ways. At any time, you can see where the camera is focused by pressing the “D” key, and the current focus point will be shown as an orange cube in the scene.

focus_orange_cube

  1. Use the mouse to manually change the camera view:
    • A drag will rotate the view.
    • A drag with “Shift” key will translate the view.
    • Spinning the mouse wheel will change distance from the focus point (zoom in/out).
    • Spinning the mouse wheel while pressing the “Ctrl+Shift” keys will change the fovy (field of view, y).
  2. Use a CAMERA command in the dialog script (.fst) to define a set of camera parameters. The arguments should be given in the format described below, i.e., in the same order and values as in the article “Viewing Log Information,” except for the last argument:
      CAMERA|x,y,z|rx,ry,rz|distance|fovy|time

    Here, “time” is the number of seconds required to move the camera to the specified parameters. A value of “0” will set the parameters immediately, and “−1” will perform a smooth movement.

  3. You can provide a camera motion file (.vmd) created using “MikuMikuDance” to move the camera as programmed:
      CAMERA|camera_motion.vmd

=== Japanese ========================================

カメラ視点を複数の方法で制御することができます.「D」キーを押すことで,カメラの焦点がどこにあるかをシーン内にオレンジの立方体として表示させることができます.

focus_orange_cube

  1. マウスを使って手動でカメラ視点を変更できます.
    • ドラッグで回転
    • 「Shift」キー+ドラッグで平行移動
    • マウスホイールで焦点からの距離を変更(ズームイン・アウト)
    • 「Ctrl+Shift」キー+マウスホイールで画角の調整
  2. 音声対話スクリプト (.fst) 上でCAMERAコマンドでカメラのパラメータを指定できます.「Viewing Log Information」で説明したログの左下の数字を以下のようにオプションとして与えます.
      CAMERA|x座標,y座標,z座標|回転のx成分,y成分,z成分|距離|視野角|所要時間

    最後の所要時間は変更にかける長さ(秒)です.0で即座に変更します.-1を与えるとでスムーズにパラメータが変化します.

  3. MikuMikuDanceで作成したカメラモーションをCAMERAコマンドで与えることでカメラを動かすことができます.
      CAMERA|カメラモーション.vmd

CC-BY-NC Copyright 2009-2013 Nagoya Institute of Technology (MMDAgent Model “Mei”)

MMDAgent version 1.4 Release

December 25, 2013

MMDAgent version 1.4 was released.

  • support VMD files of MikuMikuDance 7.40 and later.
  • re-design plugin framework (event/command message integration).
  • support VBO for efficient rendering.
  • add acoustic models for mobile devices.
  • add sample Makefiles for Android NDK, Visual Studio 2010, and 64-bit Cocoa framework.
  • fix some bugs.
  • update libraries (Julius 4.3, hts_engine API 1.08, and Open JTalk 1.07).

=== Japanese ========================================

MMDAgent バージョン 1.4 を公開しました.

  •  MikuMikuDance 7.40以降のVMDファイルに対応.
  • プラグインフレームワークの再設計(イベント及びコマンドメッセージの統合).
  • VBOによるレンダリングの高速化.
  • モバイル機器用の音響モデルを追加.
  • Android NDK, Visual Studio 2010及び64-bit Cocoaフレームワークに対するMakefileのサンプルを追加.
  • いくつかのバグ修正.
  • 各種ライブラリ (Julius 4.3, hts_engine API 1.08, Open JTalk 1.07) の更新.

The materials in the example other than the 3-D model of “mei”, including motions, panel models, voice models, and the waveforms generated from voices, are covered under the Creative Commons license (CC BY).

  • You are free to copy and distribute this model under the license terms.
  • You must attribute the work by showing the copyright notice, as shown in the example below.
  • You can only distribute the deliberative work (modified or remixed work of this model) under the same license.

You should also carefully consult the full description of the CC BY license at Creative Commons—Attribution 3.0 Unported—CC BY 3.0.

Example:
menu

CC-BY Copyright 2009-2013 Nagoya Institute of Technology (MMDAgent Accessory “NIT Menu”)

=== Japanese ========================================

Exampleに含まれる,メイちゃんの3Dモデル以外のファイル(モーション,パネル,ボイス)およびボイスから生成される音声波形のライセンスはクリエイティブ・コモンズ BYの元で配布されています.

  • 使用,配布はライセンスに従う限り無償です.
  • コピーライトを表示する必要があります(以下の例を参考に).
  • この作品を改変,変形または加工した場合,その結果生じた作品をこの作品と同一の許諾条件の下でのみ配布することができます.

クリエイティブ・コモンズ BYの要約はCreative Commons — 表示 – 3.0 非移植 — CC BY 3.0をご参照下さい.

例:
menu

CC-BY Copyright 2009-2013 Nagoya Institute of Technology (MMDAgent Accessory “NIT Menu”)

The 3-D model of “mei” in the example script is distributed under the Creative Commons license (CC BY-NC).

  • You may not use this model for commercial purposes. For non-commercial use, copy and distribution of this model is free under the license terms.
  • You must attribute the work by showing the copyright notice, as shown in the example below.
  • You can only distribute the deliberative work (modified or remixed work of this model) under the same license.

You should also carefully consult the full description of the CC BY-NC license at Creative Commons—Attribution-NonCommercial 3.0 Unported—CC BY-NC 3.0.

Example:
mei_bust_up

CC-BY-NC Copyright 2009-2013 Nagoya Institute of Technology (MMDAgent Model “Mei”)

=== Japanese ========================================

メイちゃんの3Dモデルはクリエイティブ・コモンズ BY-NCの元で配布されています.

  • 非商用での使用,配布はライセンスに従う限り無償です.商用利用はできません.
  • コピーライトを表示する必要があります(以下の例を参考に).
  • この作品を改変,変形または加工した場合,その結果生じた作品をこの作品と同一の許諾条件の下でのみ配布することができます.

クリエイティブ・コモンズ BY-NCの要約はCreative Commons — 表示 – 非営利 3.0 非移植 — CC BY-NC 3.0をご参照下さい.

例:
mei_bust_up

CC-BY-NC Copyright 2009-2013 Nagoya Institute of Technology (MMDAgent Model “Mei”)