頓挫中。僕の調べ方が悪いのかもしれませんが、FFTとは無関係なところで悩み中。今日は文字だらけですんません。

プレイバックの問題
ライブラリ「minim」はFFTが簡単に出来るものの、問題はプレイバック部分、特に再生終了イベントを受け取れない(→[Minim] Tell if an AudioPlayer finishes playing?)。minimの作者さん本人が返事をしてますが先の10月にリリースされたバージョンでも改善が無いようです。

再生は勝手に止まるのでいいんです、でもその後、各GUIを初期状態に戻したり、もろもろの後処理が出来ないとすごく気分の悪いツールができあがるのがイヤ。

同じ機能を持つライブラリで「Ess」がありますが、こちらはFFTの結果をリニアで出してきます。例えばベースを22Hzとして220Hz、2,200Hz、、、22×10nの結果を得ることが出来ません。聞き取れない高周波成分の結果をたくさん出されたところで、ねぇ。
再生終了時の処理はメソッドaudioChannelDone(AudioChannel)を上書きすれば可能です。

解決するにはEssをプレイバック用、再生中のサウンドバッファをminim.FFTへ、って合わせ技かな?。

GUIのライブラリのこと
GUIに使用しているライブラリ「controlP5」も不足があるせいかマウスの各状態を得ることが出来ないでいます。レポジトリ上の開発途上な0.40のソース(Controller.java)を見ると、isMousePressed()でマウスの状態を取得できたり、mousePressed() 、mouseReleased()等のオーバーライド可能なメソッドが用意されているようです。でもコンパイルってどうするんだ?

って事で
Prosessing以外でも実現できるものが無いか調べ中。
ActionScript3にも「SoundMixer.computeSpectrum () 」ってのがありますね。
あとは、PureDataとか、vvvvとか、、、
MacOSXのQuartzComposerでもできるんですが、データの書き出し部分をObjective-Cで書かなきゃいけないのはちょっと、、、

続きは頓挫中の「見ちゃいやんバージョン」のソースです。以上の経緯があってまだ一番肝心なデータ書き出し等は実装されていません。すごく中途半端なので役には立たないですよ。

Minimは標準で入っていますが、ほかにcontrolP5が必要です。
mp3,AIFF,wavを開いて再生とスペクトルの表示ができます。

作るのが最終目的じゃなくって、これ使って映像を作りたいんですけどぉ!

/* minim.FFT test
Following code is WORK IN PROGRESS.
Required Libraries: controlP5 and Minim
*/

import controlP5.*;
import ddf.minim.analysis.*;
import ddf.minim.*;

ControlP5 gui;

controlP5.Button btnOpenFile;
controlP5.Button btnSaveResult;
controlP5.Button btnExit;
//controlP5.Textlabel feedbackText;
controlP5.Textlabel lbCurrentTimeMovie;
int currentTimeMovie = 0;
controlP5.Textlabel lbCurrentTimeSound;
int currenttTimeSound = 0;

controlP5.Button btnStop;
controlP5.Button btnStart;
controlP5.Slider slSeek;

int guiOffset = 10;
int fileGuiColumn = 5;
int playbackGuiColumn;
float[] maxHead;
float maxHeadAnimationDelay =  0.95;

Minim minim;
AudioPlayer audio;
FFT fftLog;
int minBandWidth = 22;
int bandStep = 5;
int cue = 0;

PGraphics fftScreen;
int fftScrrenOffsetX = guiOffset;
int fftScrrenOffsetY = fileGuiColumn + 20;

void setup(){
  size(520,450);
  background(0);
  playbackGuiColumn = height - 20;
  gui = new ControlP5(this);
  //File GUI
  btnOpenFile = gui.addButton("openFile",0,guiOffset,fileGuiColumn,100,15);
  btnOpenFile.setLabel("Open Sound File");
  btnSaveResult = gui.addButton("SatrtAnalaizing",0,guiOffset + 105,fileGuiColumn,100,15);
  btnSaveResult.setLabel("Start Analaizing");
  btnExit = gui.addButton("quit",0,width - 65,fileGuiColumn,60,15);
  btnExit.setColorBackground(color(128,0,0));
  btnExit.setColorActive(color(255,0,0));

  /*
  ControlP5.standard58
   ControlP5.standard56
   ControlP5.synt24
   ControlP5.grixel 
   */

  //PlayBack GUI
  btnStop = gui.addButton("stopAudio",0,guiOffset,playbackGuiColumn,60,15);
  btnStop.setLabel("Stop");
  btnStart = gui.addButton("playAudio",0,guiOffset+65,playbackGuiColumn,60,15);
  btnStart.setLabel("Play");
  slSeek = gui.addSlider("seekAudio", 0.0, 100.0, 0.0, guiOffset+130,playbackGuiColumn,250,15);
  slSeek.setLabelVisible(false);

  //Info
  lbCurrentTimeMovie = new controlP5.Textlabel(this,"text",guiOffset + 5,390,300,15,color(255),ControlP5.grixel);
  lbCurrentTimeSound = new controlP5.Textlabel(this,"text",guiOffset + 5,410,300,15,color(255),ControlP5.grixel);

  disablePlaybackControllers();

  //Setup audio
  minim = new Minim(this);
  //minim.debugOn();
  frameRate(30);

  //Setup Off-screen for FFT Bar-graphs
  fftScreen = createGraphics(512,300,P2D);
  fftScreen.beginDraw();
  fftScreen.background(0);
  fftScreen.noSmooth();
  fftScreen.noStroke();
  fftScreen.endDraw();
}

void draw(){
  if((audio != null) && (audio.isPlaying())){
    background(0);
    slSeek.setValue((float)audio.position() / (float)audio.length() * 100.0);
    updateFftScreen();
    image(fftScreen,fftScrrenOffsetX,fftScrrenOffsetY);
    updateRealTimeInfo();
    currentTimeMovie ++;
  }
  else if((audio != null) && (!audio.isPlaying())){

  }
}
void updateFftScreen(){
  fftLog.forward(audio.mix);
  int w = int(fftScreen.width/fftLog.avgSize());
  fftScreen.beginDraw();
  fftScreen.noStroke();
  fftScreen.background(0);
  for(int i = 0; i < fftLog.avgSize(); i++){
    fftScreen.fill(12);
    fftScreen.rect(i*w + w/10.0, 0, w/10.0*8, fftScreen.height);
    fftScreen.fill(30,30,125);
    fftScreen.rect(i*w + w/10.0, fftScreen.height , w/10.0*8, -1 * fftLog.getAvg(i));
    fftScreen.fill(0,255,255);
    maxHead[i] *= 0.95;
    maxHead[i] = max(maxHead[i],fftLog.getAvg(i));
    fftScreen.rect(i*w + w/10.0, fftScreen.height - maxHead[i], w/10.0*8, 1);
  }
  fftScreen.endDraw();
}
void updateRealTimeInfo(){
  lbCurrentTimeMovie.setValue("Frame (Code domain) : " + str(currentTimeMovie));
  lbCurrentTimeMovie.draw(this);
  lbCurrentTimeSound.setValue("Milli-sec. (Playback) : " + str(audio.position()));
  lbCurrentTimeSound.draw(this);
}
void clearState(){
  for(int i = 0;i< maxHead.length;i++){
    maxHead[i] = 0.0;
  }
  slSeek.setValue(0.0);
  currentTimeMovie = 0;
  background(0);
  updateRealTimeInfo();
}
void quit(){
  exit();
}
void openFile(){
  String loadPath = selectInput("Select sound file");
  if(loadPath == null){
    println("No Sound file Selected.");
  }
  else{
    if(audio != null){
      audio.pause();
      audio.close();
    }
    println(loadPath);
    audio = minim.loadFile(loadPath,2048);
    println("Audio Length(milli-sec.):" + audio.length());
    //init
    fftLog = new FFT(audio.bufferSize(),audio.sampleRate());
    fftLog.logAverages(minBandWidth,bandStep);
    maxHead = new float[fftLog.avgSize()];
    for(int i = 0;i< maxHead.length;i++){
      maxHead[i] = 0.0;
    }
  }
}
void saveResult(){
}
void enablePlaybackControllers(){ 
}
void disablePlaybackControllers(){
}
void playAudio(){
  if((audio != null) && (!audio.isPlaying())){
    audio.play(cue);
    btnStart.setLabel("Pause");
  }
  else if((audio != null) && (audio.isPlaying())){
    audio.pause();
    cue = audio.position();
    btnStart.setLabel("Play");
  }
}
void stopAudio(){
  if(audio != null){
    audio.rewind();
    audio.pause();
    btnStart.setLabel("Play");
    clearState();
  }
}
void seekAudio(){
  /*
  if(mousePressed){
    if(audio != null){
      audio.pause();
      cue = (int)(slSeek.value() / 100.0 * audio.length());
      btnStart.setLabel("Play");
      println("Seek");
    }
  }
  */
}
void stop(){
  if(audio != null){
    audio.close();
  }
  minim.stop();
  super.stop();
  print("exit");
}

とどこおるFFT” への1件のフィードバック

  1. Tweets that mention LeaveBehind » とどこおるFFT -- Topsy.com

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です