iModelaについて、あまり経験のないことをするので、できること／知ってることと、そうでないことを切り分けるためのメモ。随時更新予定。

iModelaで作れるもの

2.5D / 3D

作れるものは大きく2.5Dと3Dにわけられる。

• 2.5D…2Dの図形に深さをもたせたもの。Adobe Illustratorなどの平面データを元に、iModelaで素材を加工する。素材が厚みを持っているので結果的に出来上がるものは立体物となる。これがいわゆる2.5D。
• 3D…3Dでモデリングしたデータをそのまま丸々立体物として一度の加工にて作るのはかなり難しいみたい。そのため以下二つのどちらのアプローチを取るのが現実的らしい。
• a…立体物を半分にスライスした状態のものを前半分、後ろ半分と別々に出力してから、手作業でつなげる。
• b…前半分、後ろ半分の流し型をiModelaでつくる。その型を使って素材を流しこみ立体物を造形する。

2.5Dにおける手順の例
http://www.youtube.com/watch?v=zYwou0YHXPk

3D-aにおける手順の例

• http://www.youtube.com/watch?v=Xkcsm0WG7v8
• http://monoist.atmarkit.co.jp/mn/articles/1111/09/news008.html

付属アプリとその機能

以下URLを参照のこと。
http://digilife.bz/wiki/index.php?iModela%2F%E4%BB%98%E5%B1%9E%E3%82%BD%E3%83%95%E3%83%88%E3%82%A6%E3%82%A7%E3%82%A2

iModela公式特設サイト

http://icreate.rolanddg.com/iModela/DGJ/Japanese/index.html/

スペックについてのメモ

http://matosus304.blog106.fc2.com/blog-entry-202.html

実践レポート

• http://monoist.atmarkit.co.jp/mn/articles/1111/09/news008.html
• http://infohigh.server.ne.jp/temp/imodela_fig_blt/
• http://niryuu.hatenablog.com/entry/2011/12/06/074734

ソニーやパナソニックのデジカメで撮影した動画は、AVCHDというフォーマットが採用されてます。

映像には高効率符号化が可能なH.264/MPEG-4 AVC方式を採用、音声にはドルビーデジタル (AC-3) 方式（LPCM：オプション）を採用、多重化にMPEG2-TSを採用したものである。（Wikipedia）http://ja.wikipedia.org/wiki/AVCHD

MPEG2とMPEG4のハイブリットなんですかね。閲覧に特化して高い圧縮率を確保するための規格なので、リアルタイムで再生しながら編集するのがスペックの高いPCであっても困難である、と。

切り出すだけだったり、そんなに凝った編集をしないのであれば以下のツールでもまかなえるようです。

AVCHD/TS/MTS/M2TSを無劣化でカット・編集できるフリーソフト「TSSniper」
http://gigazine.net/news/20111018_tssniper/

Windows Live ムービーメーカーがAVCHDにネイティブ対応し編集可能
（ただしちょっとためした限りは編集時のリアルタイム再生は出来ていなかったような…）
http://hangar7.jp/movie/avchd-edit.html

またアドビのプレミアCS5であれば、リアルタイム再生しながらの編集に対応しているようです。

圧縮処理が重く、PCで扱いにくいとされるAVCHDでも、HDVと同程度に編集できるのは驚きである。http://news.mynavi.jp/articles/2010/12/03/app5v8/index.html

まあそれほど凝った編集をしないまでも特定のプラグインを使いたかったり他ソフトと連携したかったりでぼくの場合はFinal Cut Pro Xを使おうと思っていたのですが、上記知らないまま実際にMacbook Pro（Core i7 2.66GHz / メモリ8GB）環境でFCPXにてファイルを読み込んでもリアルタイムで再生しながら編集できなかったですね。で調べてみると、

「AVCHDをリアルタイムで再生可能にするためには、編集用のコーデックに変換するというのが一般的であった。トムソン・カノープスのEDIUSシリーズであればCanopus HQ Codecに、アップルFinal Cut ProであればProRes 422に変換すれば、リアルタイム再生でき、ネイティブファイルと遜色ない画質で編集が可能である。（小寺さん）http://av.watch.impress.co.jp/docs/series/zooma/20091021_323032.html」

とのこと。ふむふむProRes 422というコーデックを使用した中間ファイルを用意すればいいのね、と。追加で調べて、Final Cut系でソフトに対応しているコーデックの種類としては、

Final Cut Express (version 3.0 and up) や Final Cut Pro 4.0, 4.5, 5の場合は、Apple Intermediate Codecを。
Final Cut Pro 6, 7以上ならProRes 422を、ということのようです。
http://www.elvirasweeney.com/iweb/ElviraSweeney/Joy_with_MPEG_Streamclip.html

リアルタイム再生しながら編集に対応したソフトも一つだけ（EDIUS Neo 2 Booster）あるようです。力技ではあるのと編集もこのソフト上で行うことになるので、お好み次第で。
http://av.watch.impress.co.jp/docs/series/zooma/20091021_323032.html

で、この辺（http://mount-q.com/yamaqblog/?p=5575）も読んだりして、対応アプリは、CompressorかMPEG Streamclipを使えばOKと。ただぼくの場合は.mtsファイル（SDカードに保存されていた動画ファイル）を両アプリとも直接読み込んではくれなくて、一旦MP4化する必要がありました（ffmpegのコマンドラインでトランスコーディングなしでサクっとできる）。
その際、ffmpegのコマンドラインでMP4化する際の自動化パッチファイル（MacなのでAutometer）を用意してくれてる人がいました。
https://discussions.apple.com/thread/2380085?threadID=2380085&tstart=0
https://public.me.com/catservant/ja/
ただし元ファイルはそのままに、新しくファイルを生成するので、トランスコーディングはしないもののファイルを実体化するのにファイルサイズ相応の時間がかかりました。

その後やっとCompressorやMPEG Streamclipが読み込んでくれて、ProRes 422使った圧縮が可能になります。
以下はMPEG Streamclipでの設定の参考に。読み込み時にファイル形式を選んで、その後圧縮形式など細かいパラメータを選ぶことになります。最初のダイアログでProRes 422は選択肢に出ない、っと。
http://www.youtube.com/watch?v=HWE2Kk1MTbw

リサーチ中に別な方法も見つけました。シェアウェア（$49.99）ですがこれを使うとMPEG Streamclipなどを使わなくてもこのアプリだけでProRes 422に変換できます。
http://www.divergentmedia.com/clipwrap

Compressor、MPEG Streamclip、ClipWrapのどれでもバッチ処理いけます。

ProResというやつも5種類、Apple ProRes 4444, Apple ProRes 422 (HQ), Apple ProRes 422, Apple ProRes 422 (LT), Apple ProRes 422 (Proxy)あるけども、その差は以下の通り。
http://documentation.apple.com/en/finalcutpro/professionalformatsandworkflows/index.html#chapter=10%26section=2%26tasks=true

で無事実行できたのですが、ファイルサイズは元のものと比べて数倍から十数倍にも膨れ上がるので要注意。ぼくの実績だと3GBが40GBになりました。そんだけ圧縮してたらリアルタイム編集ができないのもうなずけます。

藝大で5日間に渡って行われたフランシスコ・ロペス氏のワークショップ「The World as Instrument」に参加してきました。
企画された城さんと以前（私がLTで登壇したsigixdの4回目）お会いして面識があったこともあり、3331からも近いし、何か面白いテーマの講義があれば参加したいなーと、わりと軽い気持ちで参加したのですが、たとえば楽譜からメロディをなぞるようなものじゃない音楽のあり方とか、新しい楽器であるウダーとかテノリオンとか、iPhone/iPadアプリのSoundropをはじめとする、語弊を恐れずいうと直感的な操作の楽器アプリとか、Empty Schoolとか。そういったものの具体的な理論や手法があるなら知りたいなというのが動機でしたが、そこには奥深い世界観が待ってました。即物的な考え方はへし折られましたね。普段向き合っているIT脳とは使うところが違い、理解できなかった部分も多いのですが、せっかく参加したのでメモを元に記録しますが、何分メモレベルなので、参加しなかった方でここから何かを読み取るのは難しいかも。すいませんねぇ。

主題っぽいこと

WSに参加された方（この方の話は明晰だった）が、参加する前に書いているブログ記事でロペス氏の言葉が引用されていて、たぶん主張したいことのエッセンスがここにありそうなので引用します。

「前景／背景に意図的でアプリオリな区別はなく、耳と同じようにマイクの位置にもとづく音の不可避の出現だけがある。私は客観主義をとるのではなく、注意の『焦点』が音環境全体にあると考える」

「これは逆説的な屈折であって、録音を特定の空間に着いての記録や言及という役割に格下げしがちだ。（中略）録音の本質とは音よりも豊かで重要な世界の記録や表象ではなく、音の内的世界に焦点を合わせ、接近する方法である。表象的／関係的レベルが強調されると音は限られた意味や目的を帯び、音の内的世界は消費されてしまう。」

「聴取がプラグマティックな表象という「用途」から切り離されたとき、音楽があらわれる。私はこの権利と自由さを主張する。（中略）私にとって、音楽的状態への到達には深い聴取が、サウンド・マターの内部に侵入することが必要だ。」

「さまざまな種類の録音技術が社会にひろまっていく途中にはいくつかの段階があった。（19世紀半ばから現在にいたるまでの発言にこめられた）録音に何ができるのかという認識の移りかわりにも段階がある。それぞれの段階が音づくりの発想に強い衝撃をあたえていった。この衝撃の下、「現実世界」の音の探求がしだいに知られるようになってきた。」（この段落のみ本WS向けの文章）

授業の内容

時間軸に沿って話が始まり、時間軸と重なるように4つのモードの話がありました。
音と現実のインタラクションモードは４つにわけられるんだ、と。
これ最初は勝手にワークフローというか音をつくる行程的なものかと思ったらそうではなく、さまざまな種類の録音技術が社会にひろまっていく途中にはいくつかの段階があり、録音に何ができるのかという認識の移りかわりにも段階があり、その歴史的経緯から概念別に抜き出したような感じですかね…。

1. The World as inspiration

人間のコントロールできない自然からインスピレーションを受ける音楽のこと。

・エスキモーの歌。笑わない人を笑わせる。ガチョウの声をまねしてる。
・ピグミーの歌。環境音から影響を受けている。森とともに歌う。
・ニューギニア　カウリ族。waterfallはすべての音楽をふくんでいると彼らはいう。
これらをインスピレーションのもとにするというような話。

・Music of the Spheres
・Johannes Kepler著の本、Harmonices Mundi
・ミルチャ・エリアーデ

なども参照先として挙げられてました。

2. The World captured

音をキャプチャしようとする試み。

音をつかまえ、音を音源から分離することで現実を再構成する。サウンドモンタージュ。

写真と録音については歴史や経緯がよく似ている。
以前に絵画というフォーマットが存在したため、写真は最初から芸術作品だと（作り手的にも社会的にも）扱われていたが音についてはそうではなかった。音については、写真にとっての絵画のような歴史がない。
音のキャプチャについては元々、声のキャプチャに使わることが多かったが、その後商業的な音楽として「歌の録音」が強力に方向性をあたえられてしまった。そのため、そういったものが先入観として社会に広まっているのではないか。

Virtual Art: from illusion to immersion
http://www.scribd.com/doc/17149258/Virtual-Art-From-Illusion-to-Immersion

Changing Images of Pictorial Space
http://www.goodreads.com/book/show/2220774.Changing_Images_of_Pictorial_Space

3. The World Reconfigured

再編集された世界。

Pierre Schaefferという人が音の哲学、現象学を音に持ち込んだ。
彼はミュジーク・コンクレート（コンクレート＝具体的な）というスタイルを発明したが、同じく彼のサウンドオブジェクトの発明の方が重要である。

ミュジーク・コンクレート
http://ja.wikipedia.org/wiki/%E3%83%9F%E3%83%A5%E3%82%B8%E3%83%BC%E3%82%AF%E3%83%BB%E3%82%B3%E3%83%B3%E3%82%AF%E3%83%AC%E3%83%BC%E3%83%88

「楽器」としてのラジオ?!
http://www.alpha-net.ne.jp/users2/gota/swmusic/shaeffer.htm

音源と音を切り離して考える。聞く。原因に関わらず音にのみこだわる。現象学的。
抽象的な音、具体的な音とは一体なにか。楽譜によって記述された楽器の音は抽象的といわれる。
しかし楽譜によって分ける分け方は、録音技術の発展とともに違う捉え方が可能である。
音の捉え方の変化。記述の仕方の変化。

4. The World Transformed

意図をもっていない音とどう向き合うか。
元の音を根本的にかえてしまう。元の音はなくなってしまう。これは情報の変形でもある。
これが何の音であるかはわからないし、作者も言わない。

seeing is forgetting the name
http://www.amazon.com/Seeing-Forgetting-Name-Thing-Sees/dp/0520049209

その他印象に残った言葉。

・商業主義で当たり前とされていることも、原理原則に帰ってみると、必ずしもそのまま従う必要にない流儀がある。
・中心をもたない、オープンさのあるコラボレーションネットワーク。
・マルチメディアはむしろ体の中にあると考えている。
・異なる領域の中からあうものをみつけていく共感覚。
・人間のコントロールできない自然からインスピレーションを受ける音楽。
・（これは受講者のお一人の言葉）マクルーハン的な身体拡張は、近代的な考え方ではないかと。extentionじゃなくintention。

その他

同時通訳されてた金子さんが知恵熱出そうなほどぶっ通しで通訳されてたのが凄まじかったです…。
お疲れさまでした。
最後の講義での感想でも述べたのですが、ミュジーク・コンクレートの解釈と咀嚼がまだ中途半端なのでそこをもうちょっと理解して学んだことを何かに活かせたらいいな、と。

関連リンク

WS告知サイト
http://generativemusicworkshop.wordpress.com/2011/07/14/world-as-instrument/

ロペスさん関連
http://www.sonm.es/
http://www.franciscolopez.net/
http://www.shift.jp.org/ja/archives/2008/04/francisco_lopez.html

参加された方のレポート
http://miminowakuhazushi.dtiblog.com/blog-entry-125.html

立て続けにoFでのOpenCV話を。

昨日書いたエントリーは、oFに含まれている公式addon、ofxOpenCvについてでしたが、おそらくプロジェクトの成果物がそのままアドオンになるようなワークフローで、間に合わせで作った必要最低限の実装だなぁ…というのがまぁ率直な感想といえば感想でした。で、この公式addonに対してある意味異議を唱え、代替するaddonを作ろうとしてる人がいます。

昨日のエントリーにも登場するKyle McDonaldで、その名もofxCvというものを開発中。
https://github.com/kylemcdonald/ofxCv
ofxOpenCvに代替するのが目標、とステートメントがはっきり出ていて、上記ページをみるとこんな目標が掲げられています（以下Readmeファイルの内容です）。

イントロダクション(Introduction)

ofxCv openFrameworksにおける OpenCV ラッパーライブラリのもう一つのあり方です。oF 007+以上とのみ互換性があります。最初の目的はofxOpenCvを置き換えることで、その時点で、リリースバージョン管理を開始します。それまでは不規則で大規模な方針の変更の可能性があるので、利用のオススメはしません。

ゴール (Goals)

有用な方法で複雑さを包みこむ (Wrap complex things in a helpful way)

本物のCV関数よりも少ない引数で利用できるようにします。
高速化するための動的なメモリ割り当てをハンドリングできる、スマートなインターフェースを提供します。
（訳注：もう一行あるのですが意味が汲み取れず…’or providing in place and out of place alternatives.’）

OpenCVの力を明瞭に提示する (Present the power of OpenCv clearly)

直感的な方法で命名することや、さらに重要なことは、そのクラスがあるデータを変換するメソッドを持つんだということだがわかりやすいようにするということ。また、CVの機能のデモを提供することを意味し、一般的にofxOpenCvよりも有用であること。

openFrameworksとOpenCVの相互運用性 (Interoperability of openFrameworks and OpenCv)

軽量の変換機能を提供することにより、簡単にCVを直接操作できるようにします。また変換を行うCV関数のラッパーを提供します。

優雅な内部OpenCVのコード (Elegant internal OpenCv code)

OpenCVを直接使用する足がかりを提供するために、すべての機能においてきれいな実装を提供します。これは、関数名と変数名をOpenCVのドキュメントに従って使用し、コードを介して他の人に明確にそれを説明できるようにするということです。時には重いテンプレートや、他にも難しい構造のものが存在しますが、これらは可能な限り避けるべきです。

使い方 (Usage)

readmeファイル（この文章）は古くなってしまうことが往々にしてあるのでサンプルコードの方を優先的に参照してください。

プロジェクトのセットアップの仕方

以下のファイルが必要です。

• ofxCv/libs/ofxCv/include/ ここにすべてのofxCvヘッダファイルがあります。
• ofxCv/libs/ofxCv/src/ ここにすべてのofxCvソースファイルがあります。
• ofxCv/src/ Which ties together all of ofxCv into a single include.
• opencv/include/ OpenCvのヘッダファイルです。addons/ofxOpenCv/ に保存されています。
• opencv/lib/ あらかじめコンパイルされた静的なOpenCVライブラリで addons/ofxOpenCv/ に保存されています。

OpenCvのヘッダファイルがどこにあるのかプロジェクトファイルのリンカーに知らせる必要があります。XCodeではプロジェクトファイルの以下の場所を修正します。

HEADER_SEARCH_PATHS = $(OF_CORE_HEADERS) "../../../addons/ofxOpenCv/libs/opencv/include/" "../../../addons/ofxCv/libs/ofxCv/include/"

Including ofxCv

testApp.hの中でこの一文を追記する必要があります。

#include "ofxCv.h"

OpenCvはcvという名前空間を使用し、ofxCvはofxCvという名前空間を使用します。以下のコードを書くことで自動的にコードに含めることができます。

using namespace cv;
using namespace ofxCv;

ofxCvのソースコードをみると、たくさんの ofxCv:: と cv:: があるのがわかります。ごくまれに自分自身で cv:: と書く必要があります。例えばOSXではRect（矩形）とPoint（点)はOpenCvで定義されていますが、MacTypes.hでも定義されています。ですのでOpenCVの方を使用する時には曖昧さをなくすために cv::Rect や cv::Point を使用してください。

ofxCvは名前空間のアドバンテージとして関数名のオーバーロードを利用しています。つまり cv::Canny() というofxCvのラッパーは ofxCv::Canny() としても呼ぶことが可能です。シンプルにCanny()と書いた場合は渡した引数によって呼ばれる関数が決まります。

Working with ofxCv

ofxOpenCvとは異なり、ofxCvでは、第三の型（例えばofxCvGrayscaleImage）を導入するよりも、ネイティブのopenFrameworksの型またはネイティブのOpenCVの型のいずれかを利用してください。oFとOpenCVの型を使ってスムーズに作業できるように、ofxCvにはtoCv() 関数とtoOf()関数が含まれています。openFrameworksのデータをOpenCVのデータに変換したり、その逆の変換をしたりする関数です。その際、画像のように大きいデータの場合はそれをコピーするのではなくラップして（包んで）扱います。vectorのように小さいデータの場合は、データをコピーすることによって行われます。

ofxCvの残りの部分は主にヘルパー関数（たとえばthreshold()）とラッパークラス（たとえばCalibration）です。

toCv()

toCv() はoFのデータをOpenCvのデータへ変換します。使用例です。

ofImage img;
img.loadImage("image.png");
Mat imgMat = toCv(img);

ここではimgMatと名前をつけたラッパーデータを用いています。ディープコピーをするにはclone()を使用してください。

Mat imgMatClone = toCv(img).clone();

もしくは copy() を使用します。これは toCv() がサポートするどんな種類のデータでも扱えます。

Mat imgCopy;
copy(img, imgCopy);

toCv() は IplImage*を返す、ofxOpenCvの ofxCvImage::getCvImage() メソッドに似ています。最大の違いはOpenCvのコードをダイレクトに呼んでいる代わりには toCv() をいつも使える訳ではないということです。言い換えるとその場合はこう書く必要があります。

Mat imgMat = toCv(img);
cv::someFunction(imgMat, ...);

しかしこんな風に toCv() を使用するのは避けてください。

cv::someFunction(toCv(img), ...);

なぜなら代わりに何かをするのは大抵コンパイルエラーを引き起こすからです。具体的には、関数がnon-constなリファレンスをパラメータとして必要な時に、代わりに toCv() を呼ぶのは失敗します。

imitate()

imitate()は主にofxCvの内部で使用されます。
CVの作業を実行するときは、似たディメンションとチャネルの、複数のバッファを定期的に割り当てたくなります。
imitate()はプロトタイプのパターンに従い、'original'という元の画像あったとしたら、'imitate(mirror, original)'を実行することで'mirror'にも'original'と同様のバッファが割り当てられます。（注：この段落、翻訳やや不安）
imitate() には大きなアドバンテージが二つあります。

• Mat、ofImage、ofPixels、ofVideoGrabber、その他ofBaseHasPixelsを拡張したオブジェクトだったらどれからでも使えます。
• 必要な場合にのみメモリを再割り当てします。これは自由に使用できることを意味します。

Working with OpenCv 2

OpenCV2は、非常にうまく設計されたAPIです。ofxCvを使って直接OpenCV2を使用することを推奨します。以下はOpenCvを使うためのいくつかのヒントです。

OpenCv Types

OpenCv2では、古い'IplImage'の代わりに'Mat'クラスを使用します。
メモリ割り当て、コピー、メモリ割り当て解除は、すべて自動的に処理されます。演算子'='は、浅い、参照カウントのコピーです。'Mat'は'Scalar'を集めたものを含みます。'Scalar'は基本的なデータ型（unsigned char, bool, doubleなどなど）を集めたものを含みます。'Scalar' というのは、色やもしくは、その他の多次元情報を表現するための、短いベクトルです。階層構造としては 'Mat' が 'Scalar' を含み、'Scalar' には基本的なデータ型が含まれます。

Different functions accept Mat in different ways:

• Mat 基になるデータの軽いコピーを作ります。書くのが簡単で、関数に引数を渡す時に「代わりに」toCv()を使うこよができます。
• Mat&と書くと、渡されたヘッダファイルを関数が調整することが可能です。つまり必要に応じて関数は割り当てが可能です。
• const Mat&と書くと基になるデータを関数が調整できなくなります。可能であればMatを使うべきです。これもまたtoCv()の使い方の「代わり」に使えます。

Mat operations

同じサイズと型の'Mat'オブジェクトにおける基本的な算術演算は、行列式で行うことができます。
行列式というのは'Mat'、'Scalar'および基本的なデータ型を受け入れるオーバーロードされた演算子の集まりです。
通常の式は以下のようになりますが、

float x, a, b;
...
x = (a + b) * 10;

行列演算も似ていて、

Mat x, a, b;
...
x = (a + b) * 10;

ここでやっていることは、すべてのaとbを足したものに10をかけ、xに代入しています。

行列式では数学の演算子（+, -, / (割り算), * (掛け算)、.mul()という、要素ごとのの乗算）が使えます。
!=, ==, <, >, >=, <=などの比較演算子も同様に使えます（<=は閾値を出すのに便利）。
二項演算子の &、|、^、~も同様。他にもabs()、min()、max()あたりは使えます。
すべてのリストについてはOpenCvのドキュメントかmat.hppを参照ください。

• OpenCV 2.2 C++ リファレンス
• OpenCV 2.2 チートシート (C++) (PDF)

補足

…とかなり確信を持って取り組んでることがわかります。ページ下部には 'ofxCv was developed with support from Yamaguchi Center for Arts and Media.' とクレジットがあってYCAMと一緒に取り組んでることがわかります。そんなKyleは去年秋ごろにA.I.R.（アーティスト・イン・レジデンス)形式でYCAMに滞在していてこのofxCvや作品作りをしていたようです。

YCAM 山口情報芸術センター – アート: Guest Research Project vol.1関連展示
YCAM Guest Research Project vol.1—プロジェクタカメラ・ツールキット

帰国前に一瞬東京に寄って囲む会みたいなのがあったのでそこで少し話してきました。背の高い賢そうな青年でした笑。AppleStoreにディスプレイされてるMacにソフトウェアを勝手にインストールして、物色しにきた人たちの表情をウェブカムでキャプチャした作品を作ったところ、シークレットサービス（大統領の護衛とかもしてるあの人たち）が土曜の朝に自宅まで来て家宅捜索されたそうです…笑　本人はさばさばしてて日本にくるから捜査が一旦止まってるとか自分はアーティストなのでねとか色々言ってましたよ。

People Staring at Computers(その動画作品)

Apple store webcam artist has home raided by secret agents

ヴァージョン話

OpenCVに大きく1.x系と2.x系の二つあるように、それを利用するoF側のラッパーファイルも当然構成が異なる。
うまいことoF自体のヴァージョンアップとからめていて、0062と0070（こないだリリースされたばかりの最新版）で同梱されているOpenCVのヴァージョンが異なりそれに伴ってファイル構成が異なる。フォルダ／ファイル構成を見比べるとこんな感じ。

ファイル構成自体が変わっているので、例えば他の人の作ったプロジェクトファイルを自分の環境で動かして動かない場合、参照しているOpenCVのヴァージョンが異なるから、という可能性もある。

以下は0070とそれに同梱されているOpenCV 2.xの話。

ファイル構成

addonsの中にofxOpenCvというフォルダがあってここにoFで使うOpenCV関係のファイルが入っている。
直下に libs と src というフォルダがあるが、libsの方がOpenCVの実ファイルでsrcの方がoFで用意しているラッパーファイル群。

https://github.com/openframeworks/openFrameworks/tree/master/addons/ofxOpenCv/src

ofxOpenCv.h（メインの読み込みファイル）、ofxCvMain.h（廃止予定の旧読み込みファイル）、ofxCvConstants.h（定数の定義）を除くと、大きく画像処理系と輪郭検出系の二つに分かれる。

画像処理系

ofxCvImage.hが抽象クラスで、画像処理系共通の定義がなされている。それ以外は実クラスで画像のスペックによって分けられていて、

• ofxCvColorImage.h…3チャンネル持ってる8ビット(IPL_DEPTH_8U)画像。ピクセル値は各チャンネルごとに 0-255。
• ofxCvFloatImage.h…1チャンネル持ってる32ビット(IPL_DEPTH_32F)画像。ピクセル値は基本的には0-1.0だが他の値を持たせることも可能。
• ofxCvShortImage.h…1チャンネル持ってる16ビット(IPL_DEPTH_16U)画像。ピクセル値は0-65535。
• ofxCvGrayscaleImage.h…1チャンネル持ってる8ビット(IPL_DEPTH_8U)画像。ピクセル値は0-255。

こんな感じでメモリ節約のために最低限必要なものを使用する感じ。

輪郭検出系

ofxCvContourFinder.hとofxCvHaarFinder.hの二つ。

ofxCvContourFinder.hは「画像の中から白い塊(blob)を見つけ、重心、バウンディングボックス、面積、長さ、多角形の輪郭を認識し、結果はofxCvBlobオブジェクトのベクトルに配置される。」(‘Finds white blobs in binary images and identifies centroid, bounding box, area, length and polygonal contour
The result is placed in a vector of ofxCvBlob objects.’)とのこと（ソースコードのコメント文より）

輪郭検出する際は極力解析しやすいようにカメラなどから入力された画像に対して動きのある部分を白、ない部分を黒に二値化する前処理を行うが、ここでいう白い塊というのはその動きのある部分のことを指す。

ofxCvHaarFinder.hはHaar-like特徴を使った顔検出のためのクラス。
Kyle McDonaldが中心になって整備中。
http://forum.openframeworks.cc/index.php?&topic=2006.0
http://code.google.com/p/kyle/

それ以外

今まで出てこなかったofxCvBlob.hは、画像処理系と輪郭検出系の両方から参照される単機能なクラスで、受け取ったpointからblobを生成する。blobというのはoF専用の用語ではなくOpenCV用語。oF作ってる人たちの定義では “多角形の輪郭で表される均質なパッチ” とのこと。

雑感

ofxOpenCv自体は輪郭検出系の機能を使うために用意され、画像処理系はそのための下準備のためのものという印象。本家OpenCVの仕様と見比べると採用されている機能が限定的であることがわかる。
また例えばofxCvContourFinder.hの中で、本家OpenCVのContourFinderのすべての機能が盛り込まれている訳ではないことにも注意。

ここでないといっているのは現状の認識のために書いているのであって、必要なものは用意したりcommitしたりすべきなのでしょう、ということで。

OpenCVって何

CやC++で書かれた画像の認識や処理のためのライブラリ群。これじゃ書きたりないだろうけど管々しく引用するのは今回省略。

ヴァージョンについて

2011.7.30時点での最新ヴァージョンは2.3。1.xから2.xへメジャーアップデートした際に大きく構成や機能の変更・追加があることと、日本語リファレンスの書籍の多く（「OpenCV プログラミングブック」とか「詳解 OpenCV」とか）が発売時期から1.xベースなのが悩ましいところ。

1.xと2.x系の大きな違いは？

2.xの最初のリリース、2.0の（オンラインで参照できる）ReadMeを見ると、

• （OpenCV 1.xのCでのAPIを残しながら）C++のインターフェイスが増えたよ。
• 機能がたくさん増えたよ。
• ディレクトリ構造を最適化したり、ドキュメント用意したりしたよ。

といった感じで詳細は個別に見ていかないとよくわからん。ChangeLogはアーカイブファイル内の ./doc/ChangeLog.htm を参照。

どんな関数で構成されているか

opencv.jp を参考に。

1.1pre

http://opencv.jp/opencv-1.1.0/document/

2.2

http://opencv.jp/opencv-2.2/cpp/

見比べるとCVの各機能がより大きく扱われてるのと、CVAUXが一見見当たらないことがわかります。CVAUXを自分が使うかどうかもまだわからないので必要に応じて要調査。

Flashへの対応状況

Marilenaという移植ライブラリがある。

元のCで書かれたライブラリとAS3をブリッジするライブラリはなく、手動でObject Detectionのみを移植したライブラリがある。時期からしてほぼ間違いなく1.xベース。
公式ページ

• http://www.libspark.org/wiki/mash/Marilena

実装例

• http://www.quasimondo.com/archives/000687.php
• http://blog.inspirit.ru/?p=416
• http://www.publicroots.com/fmt/archives/000331.html

元のライブラリを利用してWindowsでネイティブアプリを作り、AIRと入出力する

というすごい例が。
http://blog.alumican.net/2010/08/10_040647

Processingへの対応状況

ラッパーライブラリがある。

http://ubaa.net/shared/processing/opencv/
上記ページを読んでるとMacは1.1ベースでWindowsは1.0ベースらしい。
実装例

• http://r-dimension.xsrv.jp/classes_j/opencv/
• http://createdigitalmotion.com/2009/02/opencv-motion-tracking-face-recognition-with-processing-im-forever-popping-bubbles/
• http://blog.bitbytebit.co.uk/137-face-tracking-with-arduino-opencv-processing/

oFへの対応状況

ラッパーライブラリがある。

oF自体にadd onとして含まれてる。現時点での最新版では2.2がサポートされている
https://github.com/openframeworks/openFrameworks/tree/master/addons/ofxOpenCv/libs/opencv
ただしOpenCVの機能全部を網羅している訳ではないみたいで、必要な人が必要な部分をラッパーライブラリ化しているようです。

Cinderへの対応状況

ラッパーライブラリがある。現時点での最新版では2.3がサポートされている。

https://github.com/cinder/Cinder-OpenCV
ラッパーライブラリのファイル名を眺めた限りですが、現時点ではoFよりサポートしている範囲が広そう。
https://github.com/cinder/Cinder-OpenCV/tree/master/lib/macosx

最後に

まずは大掴みに把握したかったのでひとまずこんな感じで。
oFとCinderはベースがC++なのでラッパーライブラリなくとも読みこめば使えるはず（歯がたたないけど）。またウェブカムやKinectでキャプチャした画像を解析するのをoFやCinderで行ってOSC経由でFlashでそのデータを利用することも、同じ動画を参照できて転送データ量が速度的に問題なければできそう（実際やってる人もいるし）。これ以外でも何かわかったら追記します。

ダウンロードするとフォルダとして認識されるのでファイル名を textmate-processing.tmbundle とリネームしてあげれば一つのパッケージとして認識してくれます。インストール場所は、
/Library/Application Support/TextMate/Bundles （全ユーザ用）
か
/Users/(username)/Library/Application Support/TextMate/Bundles （特定のユーザ用）
か好きな方で。

“Run in Processing”がうまく動かなかったので、
http://processing.org/discourse/yabb2/YaBB.pl?num=1211907539
を参考に、
Bundles → Bundle Editor → Show Bundle EditorでBundle Editor を開き、
・SaveをCurrent Fileに変更。
・Commandを以下に全差し替え。

osascript < tell application “Processing” to run
tell application “Processing” to activate
tell application “Processing” to open POSIX file “${TM_FILEPATH}”
delay 1
tell application “System Events” to tell process “Processing”

keystroke “r” using command down
end tell
EOF

したら動いてくれました。

pdeファイルをファイル名と同名のフォルダに収めるべし、という制限はありますね。
あとライブラリは所定位置に収めておく必要があります。所定位置というのはProcessing.appの環境設定で指定する、sketchbook location以下にlibrariesというフォルダ名で配置する、という感じ。

• The Eyeo Festival

「学校」そのものを楽器にする着想 (”Empty School”)

上記リンク先のような前例はあるのでオリジナルなアイディアじゃないですが、旧錬成中学（3331）にワークショップ形式で集まって、学校の色んな場所を叩いてみた音をサンプリングして、その場で音楽を作っていくというアイディアがあるのですが、賛同してくれるミュージシャンの人いないかな。実費程度しか集まらないと思いますが試みや場を楽しんでもらえて、それを成果と感じられてもらえるような方、募集します。

プレゼンテーション・ドキュメント
sigixd 4th N1N9

USTREAM動画（23:50-35:25あたり）

時間が限られていたのでかなり話の詳細をすっ飛ばしましたので、わかりづらい点は申し訳ありませんでした。
事前にプロジェクタのスペックを確認してXGAだろうと伺っていたものの、実際つなげてみたら見切れてしまい、要らぬ申し訳なさを抱えながら、という状況だったのでこれは気をつけます。