COPYRIGHT © SONICJAM ALL RIGHTS RESERVED.

Dentsu Hand Bell Christmas

EVENT /
DEC. 2015
WORK 0085
PLANNING / DESIGN / PROGRAMMING / BOOTH DESIGN

一人ひとりの音が1つのメロディーに。

2015年のクリスマスシーズン、12月21日より電通1FエントランスにてDentsu Hand Bell Christmasを展示しました。

専用ブースで録画されたハンドベルの演奏が紡がれ、「Silent Night(きよしこの夜)」「White Christmas」の2曲のクリスマスソングがエントランスで演奏されます。

ブースにはハンドベルと録音用マイク、カメラ、オペレーション用のデジタルサイネージが設置されています。 オペレーターの案内に従い指定のハンドベル1音を演奏すると、数秒後には併設されたLEDモニタで、直前に録画した自分の映像が含まれたメロディーが演奏されます。

Sounds person-by-person into one melody

In the 2015 Christmas season Dentsu Hand Bell Christmas was exhibited at the Dentsu 1F entrance from December 21st.

At a special booth a recorded hand bell musical performance was woven together, and two Christmas songs, “Silent Night” and “White Christmas” were played in the entrance.

Within the booth hand bells, a microphone for recording, camera, and digital signage for operation was established. Following the directions of the operator and playing a sound from the designated hand bell, a melody is played on the setup LED monitor, which includes a shot of the person taken a few seconds prior.

課題と、今後の可能性。

録画にはFFmpegを使用し、動画データはFTPでLAN内の映像表示用のPCに転送され、過去に撮影された動画アーカイブから、ランダムに選ばれた音符達でひとつのメロディーが構成されます。

このシステムでは大量の動画をリアルタイムで処理する必要があり、これが大きな課題となりました。
1つのメロディーで使用する音符はおよそ60音。 ブース内で撮影された矩形の映像をAlpha Maskingにより音符の形に表示します。 この大量の動画処理がネックとなりメロディーの遅延が発生する事もありました。

メロディーはMIDIデータと音符動画で構成されており、今回は2曲となりましたが、音符動画を使いまわすことでMIDIデータの数だけメロディー演奏が可能となります。

オフィスのエントランスでの実施となり、環境音がノイズで入ってしまうなど、録音時の音量調整が非常に難しいものとなりました。 環境音を拾ってしまうことでベル音の鳴り出しの検知が難しく、結果MIDIデータに沿わない形でベルの音が鳴ってしまい、一部の録音データを編集する事で急場をしのいだりと、まだまだ改善が必要な仕組みとなりました。

ですが、ハードウェアやプログラムの精度を上げていくことでシチューエーションを選ばず実施できる可能性も見えるプロジェクトとなりました。

Challenges and future possibilities.

The recording uses FFmpeg, and video data is sent through a PC for displaying images within a LAN via FTP, and a single melody is composed with randomly selected musical notes from a previously shot video archive.

As it is necessary to process a large number of videos on the system in real time, this was a big challenge.
The number of notes used for one melody was around 60. The rectangular shots taken within the booth were displayed in the shape of notes through Alpha Masking. This large amount of video processing became a bottleneck, and there were occasions in which the melody was delayed.

The melody was constructed with MIDI data and note videos, and this time was made into two songs, however it is possible through usage of note videos to perform a melody with just the quantity of MIDI data.

This was established at the entrance of the office, and it was very difficult to adjust the volume of the recording due to things such as environmental noise. Due to the interference of environmental noise it was difficult to detect the bell sounds, and as a result the bell sound chimed in a way which didn’t match the MIDI data, so an emergency was staved off through editing of part of the recorded data, and it was seen that a further improved plan would be required.

However, through raising the accuracy of the hardware and the program, this could be seen as a project which showed the possibility of being able to be implemented anywhere without needing to select a situation.

STAFF LIST

  • SHARE
    • facebook
    • twitter
    • Tumblr
    • Google
COPYRIGHT © SONICJAM ALL RIGHTS RESERVED.