特別研究報告書

荷重センサによる調理中の繰り返し動作の区間および位置の推定

指導教員 美濃 導彦 教授

京都大学工学部情報学科

沖野 祐介

平成 26年 1月 31日

i

荷重センサによる調理中の繰り返し動作の区間および位置の推定

沖野 祐介

内容梗概

近年，観測データに基づいて自動的にユーザの行動を理解し，支援するシス

テムが研究されている．観測データ中のいつからいつまで，どこで重要な行動

があったかを特定することは，ユーザの行動をシステムに理解させる上で重要

である．調理の場合では，作業の進行は常に食材に対する加工動作により行わ

れる．どの食材にどのような加工が行われたかを自動的に理解させるためには，

まず食材加工動作の区間とその動作が起こった位置が重要となる．

加工動作では「こねる」，「切る」，「混ぜる」，「のばす」といった同じ動きが複

数回繰り返される動作が多い．このような動作を「繰り返し動作」と呼ぶ．本

稿では，繰り返し動作に着目し，その発生区間および位置の推定を行うことを

目的とする．

このために，荷重センサを用いて繰り返し動作の区間および位置の推定を行

う．天板の下に荷重センサを設置すれば，繰り返し動作中に調理者が天板を押

す力を直接観測することができる．そのため，容易に重要な動作が行われてい

る区間の候補を絞り込むことができるという利点がある．

荷重センサを用いた従来手法として，「置く」・「取る」という二種類の動作を

対象とした手法が提案されている．この手法では，動作はそれによって増減す

る天板上の物体の総荷重の変化から検出され，動作の位置は物体の重心から求

められる．しかし，繰り返し動作では天板上の物体の総荷重が変化しないため，

この手法を適用することはできない．

これに対して本研究では，物体の総荷重の変化ではなく，動作に起因する荷

重値の変化から動作の位置推定を行う．衝突による天板の振動などに起因する，

位置推定に悪影響を与える信号中の成分が平滑化フィルタによって除去できる

という性質を利用して頑健に位置推定を行う．また，繰り返し動作中には特徴

量が似た信号が繰り返し現れる．この性質を利用して，繰り返し動作区間を推

定する．荷重センサから得られる特徴量としては以下の三つを用いる．一つ目

は総荷重で，天板にかかった荷重の総量を表す．総荷重を用いれば，「こねる」動

作のようなほぼ等しい大きさの力が繰り返しかかる動作を抽出できる．二つ目

ii

は重心位置で，動作が起こった位置を表す．三つ目は重心位置の変化で，推定

された重心位置の動きを表す．二つ目と三つ目は動作中にかかる荷重の重心位

置に関する特徴であり，「のばす」動作のような往復する動きや，左手で食材を

抑えている状態で右手で食材の同じような位置に何度も力を加えるような動き

を抽出することが期待される．ただし，動作が行われる場所はその都度変わり

得るため，観測空間の絶対位置ではなく，相対位置で評価する必要がある．こ

のため，繰り返し判定を行う観測データを近傍の時刻における重心位置の平均

を減ずることで相対化した「位置」と，単に直前の観測時刻の重心位置を減ず

る「位置の変化」の 2種類の特徴を用意し，比較を行った．

実験では，様々な種類の加工動作が行われる水餃子に対して実際に調理を行

い，提案手法の評価を行った．総荷重，重心位置，重心位置の変化を用いた場

合の再現率はそれぞれ 88.6%，87.4%，83.9%，適合率は 87.6%，76.4%，80.0%

となった．また，位置推定の精度は 67.0%となった．さらに，動作の種類ごと

にどの特徴量を用いれば区間が精度よく推定できるのかを確認した．水餃子の

調理では，皮を「こねる」，ニラを「切る」，具を「混ぜる」，皮を「のばす」

という繰り返し動作が現れる．このうち，皮を「こねる」，具を「混ぜる」動

作では，どの特徴量を用いても精度よく区間推定ができた．ニラを「切る」動

作では総荷重と重心位置の変化を，皮を「のばす」動作では重心位置を用いた

場合に区間推定が精度よく行われた．

この他，動作の繰り返しが信号中に明確に表れ難い白菜と鶏肉に対する切断

加工動作を行い，繰り返し動作の区間および位置がどの程度精度よく推定でき

るのかを確認した．総荷重，重心位置，重心位置の変化を用いた場合の再現率

はそれぞれ，白菜を「切る」動作で 86.0%，58.5%，89.0%，鶏肉を「切る」動

作で 60.0%，17.3%，61.0%となった．どちらの食材に対しても総荷重と重心位

置の変化を用いた場合に区間推定が精度よく行われた．

実験により，全体的には総荷重を用いた場合に最も良い結果が得られること

が判明した．また，動作によって適切な特徴量が異なることが判明した．今後

の課題としては，提案手法により抽出した繰り返し動作の区間に対する動作認

識が挙げられる．

iii

Extracting Repetitive Motion on Kitchen Counter with

its Location using Load Sensing Table

Yusuke OKINO

Abstract

Recently, there has been some research for realizing systems which understand

user’s activity from observed data and support the users. It is useful for such

systems to identify where and when important activities occurred. In case of

cooking, motions to process ingredients (processing motions) are important to

follow the cooking steps because such motions indicate progress of the cooking

steps. It is necessary, at first, to extract the period and the location of each

processing motion for the systems to understand what kind of processing motion

has been occurred and which ingredient was processed in it.

During the processing motions, such as kneading , cutting , mixing , and

smoothing , similar movements are repeatedly observed. We call such process-

ing motions as repetitive motions . The purpose of our method is to extract the

period and the location of repetitive motions on kitchen counter.

We observe the repetitive motions by load sensors attached under four cor-

ners of a top board. They can observe any physical contacts to the top board

during the cooking. Thus it is easy to extract the period of motions touching

on the top board by the sensors.

There is a previous method which detects the period and the location of

putting/taking motions with load sensors. The period of these motions is de-

tected by thresholding the change of stable load values, and the location of

them is estimated as center of gravity of load values. However, in most repeti-

tive motions, nothing is put or taken and thus there is no change of stable load

values. Therefore, this method is unsuitable for our goal.

We estimate the location of repetitive motions not from the stable values

but from the dynamic values observed during motions. The dynamic value

also includes a signal component which does not contribute but disturbs the

location estimation. We found that a smoothing filter can cancel this component

efficiently. We estimate the locations robustly by this property.

Moreover, a similar pattern of signals is observed repeatedly during a repet-

iv

itive motion. We extract the repetitive motions based on this property. We

investigate three types of features to find such patterns. That is, total weight,

center of gravity (COG), and movement of COG. The total weight is the sum of

load values observed by the four load sensors. It measures the repetitive pattern

of force acting on the top board. The COG is the balance point of the load

values and the movement of COG is the difference of COG features observed at

two consecutive sampling points. These features measure the repetitive pattern

of location.

In the experiment, we evaluated the proposed method on an observation

of cooking ”boiled dumpling,” which requires a variety of repetitive motions:

kneading , cutting , mixing filling , and smoothing dough. As a result, we re-

spectively got 88.6%, 87.4%, 83.9% of recall rate, and 87.6%, 76.4%, 80.0% of

precision rate for total weight, COG, and movement of COG. The location was

estimated with 67.0% of accuracy against 66.4% without the proposed smooth-

ing filter. In addition to that, we also evaluated the motions independently.

For kneading and mixing filling , all features work well. For cutting , the results

by COG was less accurate than others. In contrast, for smoothing dough, the

results by COG was more accurate.

We also evaluated the accuracy of extracting the period and the location

of repetitive motions in two short observations of cutting Chinese cabbage and

chicken. These motions are expected to be less repetitive than the motions in

”boiled dumpling.” We got 86.0%, 58.5%, 89.0% of recall rate in cutting Chinese

cabbage and 60.0%, 17.3%, 61.0% of recall rate in cutting chicken, for total

weight, COG, and movement of COG, respectively.

From the experiments, it turned out that total weight was the best feature for

extracting the repetitive motions in entire cooking. It also found that suitable

features varied with motions. The motion recognition for the extracted period

of repetitive motions is left as a future work.

荷重センサによる調理中の繰り返し動作の区間および位置の推定

目次

第 1章 はじめに 1

第 2章 関連研究 3

第 3章 繰り返し動作の区間および位置の推定 5

3.1 繰り返し動作の区間の推定方法 . . . . . . . . . . . . . . . . . . . . . . . 6

3.1.1 観測環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

3.1.2 荷重センサから得られる特徴量 . . . . . . . . . . . . . . . . . 7

3.1.3 特徴量間の類似度計算 . . . . . . . . . . . . . . . . . . . . . . . . 10

3.2 荷重値が不安定な区間から動作位置の推定を行う手法 . . . . . . . 11

3.3 風袋の更新 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

第 4章 実験 15

4.1 実験目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

4.2 実験環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

4.3 実験内容 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

4.4 評価方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

4.4.1 繰り返し動作区間の評価方法 . . . . . . . . . . . . . . . . . . . 18

4.4.2 動作位置の評価方法 . . . . . . . . . . . . . . . . . . . . . . . . . 18

4.5 実験結果・考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

4.5.1 実験 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

4.5.2 実験 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

第 5章 おわりに 24

謝辞 25

参考文献 26

第1章 はじめに

食事は毎日とるものであり，よりよい食事は生活の質の向上につながる．人

が食事に求めるものは多く，健康面・おいしさ・経済性など様々である．食事を

健康的に・おいしく・経済的に作ることができるかどうかは調理者に大きく依

存する．調理者はよりよい食事を求めて自ら料理のことを調べる．例としては，

料理番組や料理雑誌，あるいは，クックパッド [1]のような Web サイトに掲載

されている様々なレシピを調べることが挙げられる．ここで，レシピとは料理

を作るために行われるステップを段階的に示したものを指す．また，ステップ

とはある食材に対する加工動作を表す．

様々なレシピを調べ，新しい料理へ挑戦する機会を増やすことは，料理の多

様性を向上させることにつながる．多様性の向上は，多くのレパートリーから

作る料理を自由に選べるようにさせるため，食事の健康面・おいしさ・経済性

を向上させることにつながる．従って，様々なレシピを調べ，新しい料理へ挑

戦する機会を増やすようにすれば，調理者は食事の健康面・おいしさ・経済性

を向上できる．

新しい料理では，調理中にレシピを見ることが多くなる．調理中にレシピを

見れば，調理者はその都度調理の進行を妨げられてしまうため，煩わしさを感

じてしまう．その結果，慣れた料理を作ってしまうことにつながり，料理の多

様性を向上することができなくなる．

新しい料理でも円滑に調理ができるようにするために，調理の進行状況を把

握し，次のステップを提示できる支援システムを想定する．この支援システム

は，食材や調理器具が取られれば次に調理者が実行すべきステップを予測し，調

理者にそのステップの解説を行う．続いて，実際に調理者がそのステップ内の

動作をすべて行ったかを確認した後，食材や調理器具が置かれれば，さらに次

のステップを推薦する．

この支援システムに調理の進行状況を理解させるには，レシピ中のどの動作

が行われたかを確認させることが必要である．ある時点までに既に行われた動

作の履歴が分かっていれば，調理台上の食材のうちのどの食材に動作が行われ

たかに基づいて，レシピ中のどのステップが行われたのかを判断できる．従っ

て，どの食材に動作が行われたかを検出することは調理の進行状況をシステム

に理解させる上で重要である．動作が行われているときは手の周りの位置に食

1

材がある．本稿では，この手の周りの食材がある位置を動作位置と呼ぶ．動作

位置はどの食材に動作が行われたかを検出する上で重要な要因である．

調理とは食材に対して加工を行う動作の連なりである．加工の種類は主に物

理的形状変化，構成物均一化，化学的変化に分類できる．

物理的形状変化は「切る」動作等に見られ，食材の形状を物理的に変化させ

ることである．卵スライサーのようにある特定の食材専用の調理器具を使えば，

一回の動きで加工できる場合がある．しかし，調理で用いられる食材の種類は

多いため，一つ一つの食材に対し，専用の調理器具を用意していては調理器具

の数が多くなってしまう．このため，通常はピーラーや包丁のように様々な食材

に使用できる汎用的な調理器具が使用されている．汎用的な調理器具による加

工では，食材を少しずつ加工していくため同じ動きが複数回繰り返される．従っ

て，物理的形状変化では繰り返しのある動作が多く起こると考えられる．以降

では，繰り返しのある動作を「繰り返し動作」と呼ぶ．

構成物均一化は「混ぜる」動作等に見られ，食材を均一な状態にするまで加

工することである．食材を均一な状態にするまで同じ動きが複数回繰り返され

るため，繰り返し動作が起こる．

化学的変化は「温める」動作等に見られ，熱などを加えることにより食材を

化学的に変化させることである．化学的変化はコンロや電子レンジで行われる

加工である．化学的変化を伴う加工はコンロや電子レンジの使用の有無などで

判断できる可能性があるため，今回は扱わない．以上から，化学的変化を伴う

加工を除けば，多くの加工において繰り返し動作は見られる．

山肩らはレシピセット A[2]を用いた．レシピセット Aでは，様々なレシピ中

に登場した動詞が 1021種抽出されている．レシピセット Aに登場する動詞に

おいて，「混ぜる」や「切る」動作のような繰り返し動作は加工全体の 74%で見

られる．また，レシピセット Aでは，加工を伴う動作のうち「混ぜる」動作が

最も多く，次に「切る」動作が多い．従って，このような繰り返し動作に着目

することで，調理の進行状況の大部分をシステムに把握させることができる．

以上より本稿では，調理台上で行われる繰り返し動作の区間および位置の推

定を行うことを目的とする．ここで，調理台は作業領域，コンロ領域，シンク領

域の３つの領域からなると定義する．作業領域は表面が平らな天板が置かれた

領域で，食材の下準備などで使用される．繰り返し動作の大部分は作業領域で

行われるため，本稿では作業領域に着目する．また，繰り返し動作の区間推定

2

とは，繰り返し動作の開始時刻と終了時刻を検出することとする．さらに，繰

り返し動作の位置推定は，繰り返し動作における手の周りの位置を推定するこ

ととする．

カメラのように調理中に起こったすべての動きを観測してしまうセンサでは，

信号中に重要な情報と重要でない情報の両方が含まれてしまう．このような状

況で食材に対する何らかの動作と調理に関係のない動作を区別することは一般

に難しい問題である．手首に装着した加速度センサによる日常活動の認識 [3]や

調理器具に装着した加速度センサによるジェスチャの認識 [4]のように，装着型

のセンサを用いる手法が考えられる．繰り返し動作中は同じ動きが繰り返され

るため，加速度センサと３次元位置センサの両方を手首などに装着させること

で，加速度センサにより繰り返し動作区間を推定し，３次元位置センサでその

位置も推定できる．しかし，装着型のセンサは毎回，調理前に準備が必要であ

るため，情報技術になじみのない一般家庭での使用には敷居が高い．

本稿では，荷重センサを用いて繰り返し動作の区間および位置の推定を行う．

作業領域の天板の下に荷重センサを設置する．荷重センサでは，繰り返し動作

中に調理者が天板を押す力を直接観測することができる．山肩らのレシピセッ

ト A[2]を分類した結果，調理者が天板を押す力は加工動作全体の 79%で発生

している．荷重センサでは天板上で食材に対する加工が行われたときに信号が

発生するため，調理前のセンサの装着などの準備が不要でありながら，カメラ

からの映像よりも容易に，重要な動作が行われている区間の候補を絞り込むこ

とができるという利点がある．以上より，繰り返し動作の区間および位置の推

定において荷重センサを用いることは有用である．

本稿の構成は以下のようになる．まず， 2章では関連研究を述べ，他の研究

に対する本研究の位置づけを示す．次に， 3章で繰り返し動作の区間および位

置の推定方法を述べ，目的を達成する上で用いる手法を述べる．さらに， 4章

で実験とその評価を述べる．最後に， 5章でまとめと今後の課題を記述する．

第2章 関連研究

繰り返し動作の区間推定の関連研究としては久原らの手法 [5]が挙げられる．

久原らの手法はプロにより動きが分かりやすい画角で撮影・編集された料理番

組の映像のうち手の周りを拡大した映像を対象とし，繰り返し動作の区間推定

3

を行っている．本研究では家庭内で行う調理の支援を想定しており，リアルタ

イムで映像を編集したり，常に動きが分かりやすい理想的な角度で撮影したり

することはできず，久原らの手法を本研究に適用することは困難である．また，

カメラの向きによっては映像から得られた繰り返し動作の位置と食材の領域が

大きく異なる場合もある．

荷重センサを用いた関連研究としては， Robert らの提案した Smart Floor

[6]と Schmidt らの手法 [7]が挙げられる．Smart Floor は床を小さい領域に分

割し，それぞれの領域の下に荷重センサを取り付けたものである．この研究で

は，床の上を人が通った位置を荷重に大きな変化のあった各領域のセンサから

求めることができる．また，観測した荷重値の特徴から通った人物の識別も行っ

ている．

この Smart Floor の原理を調理台に適用すると，小さな天板を複数枚敷き詰

めて調理台を構成しなければならない．このようにした場合，まな板のような

大きな物体を天板上に置いたとき，その下の天板はまな板相当の大きさの天板

と同じ働きしかできなくなり，精度の高い位置推定が困難となる．さらに，小

さな天板を敷き詰めた調理台では，互いに影響を与えないように個々の天板間

に隙間を確保する必要があり，衛生面の問題も起こりうる．

一方， Schmidt らは荷重センサを用いて物体を「置く」・「取る」・「倒す」の

三種類の動作を検出する手法を提案している．この手法では，動作の検出とと

もに「倒す」以外の動作の起こった位置も推定している．物体の重心位置は物

体を「置く」・「取る」動作の起こった位置に近いため，重心位置を動作の起こっ

た位置としている．荷重センサは長方形の天板の四隅に取り付けられている (図

1)．重心位置を天板の四隅の荷重センサから得られた荷重値の比により計算し

ている．本研究では Robert らの提案した Smart Floor ではなく，衛生面など

の問題が生じない Schmidt らの手法を基に発展させる．なお， Schmidtらの手

法は Chiら [8]の提案したキッチンのシステムにおいて用いられている．

物体を「置く」・「取る」・「倒す」という動作が起こると，いずれの動作であれ

荷重値に変化が起こる．動作後しばらくすると，この変化は収束し，再び安定

する．荷重センサから得られる原信号の i番目のサンプルを si = {s1i , s2i , s3i , s4i }とする (i ∈ Z)．また，i番目のサンプルから j番目のサンプルまでの原信号の

系列を si:j = {si, · · · , sj}T とする．四隅にかかる荷重値の合計値を sallt とする．

天板の横幅の長さを xmax，天板の縦幅の長さを ymaxとおく．動作が起こる前

4

図 1: 天板と四隅の荷重センサ

の時刻のサンプルを st0，荷重値が安定した時刻のサンプルを st1とすると，「置

く」・「取る」のように sallt1− sallt0

= 0である重心位置 (x, y)は以下のように求め

られる．

x = xmax

(s2t1 − s2t0) + (s4t1 − s4t0)

(sallt1 − sallt0 )(1)

y = ymax

(s3t1 − s3t0) + (s4t1 − s4t0)

(sallt1 − sallt0 )(2)

一方で，物体を「倒す」動作のように st1 , st0の荷重値の合計に差がない動作は

この手法では重心位置が計算できない．「混ぜる」や「切る」のようなsallt1−sallt0

= 0

となる動作では，式 (1)，(2)は適用できない．

第3章 繰り返し動作の区間および位置の推定

映像からでは繰り返し動作の区間および位置の推定が困難である．また，Schmidt

らの手法は，物体を「置く」・「取る」の動作の位置推定しかできない．

本稿では，荷重センサから得られる観測データを用いて繰り返し動作の区間を

推定する手法を提案する．サンプル siの直前の荷重 s(i−N):(i−1)の範囲で si:(i+l−1)

と類似する部分があるかどうかに基づいて，サンプル siが観測された時刻が繰

り返し動作中であるかどうかを判定する (N, l ∈ Z, N > l，図 2)．ここで，N

は類似したデータがあるかどうかを探索する区間のサンプル数を表し，lは繰り

返し動作かどうかを判定する区間のサンプル数を表す．さらに，動作の前後の

5

図 2: 尤度の添え字

図 3: 作業領域

荷重値の変化ではなく，動作中の動的に荷重が変化する区間を用いて位置推定

を行う (3.2節)．

3.1 繰り返し動作の区間の推定方法3.1.1 観測環境

それぞれの荷重センサにかかる荷重の比を用いて重心位置を計算できるように

作業領域 (図 3)の天板の四隅に荷重センサを取り付けた．これは Schmidt らの

手法を踏襲している．重心位置の計算のための座標設定も図 1のような Schmidt

らの手法と同様に行った．流し台で行われる動作は空中で行われるものがほと

んどであるため，荷重センサを取り付けたとしても観測できる動作は限られて

いる．従って本研究では，流し台は観測の対象としない．

6

図 4: 総荷重 vw(si)

3.1.2 荷重センサから得られる特徴量

荷重センサから得られる簡単な特徴量として総荷重，重心位置，重心位置の

変化を用いる．原信号から動作の特徴量を計算する関数を vとする．総荷重，重

心位置，重心位置の変化はそれぞれ vw(si), vx(si), v

dx(si−1, si)と表される．以降

では，区間 [i, j]で得られるこれらの特徴量の系列を v∗i:j = {v∗(si), · · · , v∗(sj)}T

と表記する．

荷重から得られるこれらの特徴量のうち，どの特徴量が有効かについての研

究は行われていない．従って，研究の最初の段階として，これらの特徴量の性

質を述べたうえで，どのような特徴量が有効かを明らかにする．

総荷重

総荷重 vwは同時刻に四隅の荷重センサで得られた荷重値の合計であり，次

式で得られる．

vw(si) = salli (3)

繰り返し動作中は，荷重センサを取り付けた天板に力がかかり，得られる

総荷重は絶えず変化する．図 4 は実際の調理において皮を「こねる」動作

が行われた時に得られた総荷重である．図の縦軸，横軸はそれぞれ総荷重

(N)と時間 (s)を表す．荷重センサで観測されたデータは時系列順に並べる

ことで波形としても観測できる．また，時刻 0 ∼ 0.5(s)までの区間を区間

7

図 5: 重心位置 vx(si)

A，時刻 0.5 ∼ 4(s)までの区間を区間 Bとする．

図 4において，区間 Aでは動作は起こっていない．区間 Bでは皮を「こね

る」動作が起こっている．皮を「こねる」動作は繰り返し動作である．そ

のため，図 4の区間 Bでは形状の似た波形が繰り返し現れている．

重心位置

重心位置は x, yの座標で表される．

vx(si) = {xi, yi} (4)

繰り返し動作の前後では物体の総荷重に変化がないので，動作中の荷重が

動的に変化する区間から重心位置を求めなければならない．動作中の荷重

が動的に変化する状況における xi, yiの計算方法は 3.2節で説明する．重心

位置の特徴量を用いれば，「のばす」動作のような往復する動きや，左手で

食材を抑えている状態で右手で食材の同じような位置に何度も力を加える

ような動きを抽出することが期待できる．図 5 は荷重値から求められた重

心位置のグラフである．青色の波形，緑色の波形がそれぞれ x座標，y座

標を表す．また，図の縦軸，横軸はそれぞれ座標値 (cm)，時間 (s)を表す．

動作が起こっていない区間 Aでは総荷重値が 0に近いため，センサノイズ

の影響が強く，各センサのノイズの比が出てしまっている．一方で，皮を

8

図 6: 重心位置の変化 vdx(si−1, si)

「こねる」動作が起こっている区間 Bでは，天板を押す力が強く働いてい

るため，実際の動作に基づく重心位置の計算がされている．そのため，繰

り返し動作が起こっていれば，その区間では値の近いデータが観測される．

重心位置の変化

重心位置の変化は dx, dyで表される．

vdx(si−1, si) = {dxi, dyi} (5)

本研究では，重心位置の変化 (dxi, dyi)を単に連続するサンプル間の差分値

として，式 (6)，式 (7)で計算した．

dxi = xi − xi−1 (6)

dyi = yi − yi−1 (7)

図 6 は図 5 の重心位置から式 (6)，式 (7)に従って求められた重心位置の

変化のグラフである．図 7 は図 6の区間 Bを拡大した図である．青色の

波形，緑色の波形がそれぞれ x座標の変化 dx，y座標の変化 dyを表す．ま

た，図の縦軸，横軸はそれぞれ重心位置の変化 (cm/s)，時間 (s)を表す．

9

図 7: 区間 Bの拡大図

動作が起こっていない区間 Aでは，重心位置と同様の理由により，ノイズ

の比に基づく意味のないデータが現れている．一方で，皮を「こねる」動

作が起こっている区間 Bでは，実際の動作に基づいた重心位置の変化が観

測される．そのため，特徴量として重心位置の変化を用いれば，「のばす」

動作のような往復する動きや，左手で食材を抑えている状態で右手で食材

の同じような位置に何度も力を加えるような動きを抽出することが期待で

きる．

3.1.3 特徴量間の類似度計算

本研究では，3.1.2節で述べた特徴量間の類似度計算として相関を用いること

で，繰り返し動作の区間推定を行う．また，総荷重が 0に近い部分でのノイズ

の影響に対処するため，特徴の信頼度 Lを導入する．

相関を以下の式で定義する．

R(v∗a:(a+l−1), v∗b:(b+l−1)) =

2C∗(v∗a:(a+l−1), v∗b:(b+l−1))

C∗(v∗a:(a+l−1), v∗a:(a+l−1)) + C∗(v∗b:(b+l−1), v

∗b:(b+l−1))

(8)

Cw(vwa:(a+l−1), vwb:(b+l−1)) =

l−1∑k=0

|vw(sa+k)||vw(sb+k)| (9)

10

Cx(vxa:(a+l−1), vxb:(b+l−1)) =

l−1∑k=0

((xa+k − xb)(xb+k − xb) + (ya+k − yb)(yb+k − yb))(10)

Cdx(vdxa:(a+l−1), vdxb:(b+l−1)) =

l−1∑k=0

(dxa+kdxb+k + dya+kdyb+k) (11)

ただし，xb =∑l−1

k=0xb+k

l，yb =

∑l−1

k=0yb+k

lとする．

動作が行われる場所はその都度変わり得るため，観測空間の絶対位置ではな

く，相対位置で評価する必要がある．このため，重心位置を用いる場合は繰り

返し判定を行う観測データを近傍の時刻における重心位置の平均を減ずること

で相対化を行う (式 (10))．また，重心位置の変化では直前の観測時刻の重心位

置を減ずることで相対化が行われているため，相関式は式 (11)のようになる．

N を繰り返しかどうかの判定で考慮する区間のサンプル数とし，N ′をN 個

のサンプルが観測された区間の中で，何らかの動作により荷重値にセンサノイ

ズ以外の信号が含まれていると考えられる区間のサンプル数とする．荷重値に

センサノイズ以外の信号が含まれているどうかの判定に関する詳細は 3.3節で

説明する．このとき，あるサンプル siが観測された時刻が繰り返し動作中であ

るかどうかを判定する際の信頼度 L(si−N :i−1)を次式で計算する．

L(si−N :i−1) =N ′

N(12)

あるサンプル siが観測された時刻が繰り返し動作中であるかどうかの特徴 v∗

に基づく尤度 q∗i を次式により計算する．

q∗i =i−lmaxk=i−N

{L(si−N :i−1)R(v∗k:(k+l−1), v∗i:(i+l−1))} (13)

ここでNは類似したデータがあるかどうかを探索する区間のサンプル数，lは繰

り返し動作かどうか判定される区間のサンプル数であり，N > lである (N, l ∈ Z，

図 2)．

q∗i が閾値 θ以上ならば，サンプル siが観測された時刻が繰り返し動作中であ

ると判定し，q∗i が閾値 θ未満ならば，サンプル siが観測された時刻が繰り返し

動作中でなかったと判定する．

3.2 荷重値が不安定な区間から動作位置の推定を行う手法荷重値が不安定な区間には，調理者が天板を押す力の変動を表す変動成分と

天板の振動を表す振動成分，空気の流れによる影響やセンサノイズ等が含まれ

11

図 8: 減衰振動の平滑化

る．空気の流れによる影響やセンサノイズ等は変動成分と振動成分に比べ無視

できるほど小さい．従って，荷重値が不安定な区間は変動成分と振動成分の足

し合わせからなるとモデル化する．

重心位置は動作位置に近いため，重心位置を動作位置として計算する．重心

位置の情報を含むのは変動成分のみであり，変動成分と振動成分の足し合わせ

からでは位置の推定が精度よくできない．荷重値が不安定な区間から位置推定

を行うには，振動成分を取り除く必要がある．天板の振動は天板の変形により

エネルギーを失い，減衰する．そのため，振動成分は減衰振動の波形をとって

いる (図 8上)．この減衰振動の波形を y = f(t)，ある 1周期区間を [ts, te]，サン

プリング幅を∆t，区間 [ts, te]中のサンプリングされた点の時間を t1, · · · , tnとする．この１周期区間の波形を時間方向に積分すると次式のようになる．∫ te

tsf(t)dt ≃

∑k=t1,··· ,tn

f(k)∆t ∝∑

k=t1,··· ,tnf(k) (14)

この場合では，１周期区間を積分することは１周期区間で平滑化することにほ

ぼ等しい．図 8のように，減衰振動の 1周期区間で平滑化すると振動成分は小

さくなる．そこで，振動成分を小さくするために，観測データに対して平滑化

を行う．ここで，平滑化フィルタは振動の 1 周期分の長さを持つ 1 次元のフィ

ルタとする．

12

荷重値を振動１周期分の時系列データの長さ lで平滑化した値は次式のよう

に表される．

sit =

∑t−1k=t−l s

ik

l(i = 1, 2, 3, 4) (15)

調理台の横幅の長さを xmax，調理台の縦幅の長さを ymax，サンプル stで推定

された重心位置 (xt, yt)とおくと，平滑化を利用した重心位置は式 (16)，(17)で

計算される．

xt = xmax(s2t − s2⊥) + (s4t − s4⊥)

(sallt − sall⊥ )(16)

yt = ymax(s3t − s3⊥) + (s4t − s4⊥)

(sallt − sall⊥ )(17)

ただし，sallt =∑

i=1,2,3,4 sit，s∗⊥は次節で求める，調理台にあらかじめ置かれて

いる物体の総重量 (風袋)である．

3.3 風袋の更新調理では「置く」・「取る」の動作が頻繁に起こる．「置く」・「取る」の動作後

は調理台に取り付けられた荷重センサにかかる荷重に変化がある．この荷重の

変化を考慮しなければ，計算された重心位置は動作位置からずれてしまう．そ

のため，動作位置の推定が精度よくできるように風袋を更新しなければならな

い．ここで風袋とは調理台にあらかじめ置かれている物体の総重量を指す．

Schmidt らが行った風袋更新は荷重センサのノイズレベルより大きな変化が

あった場合にしか行われない．そこで，より精密に動作位置を推定するために

センサのノイズ分布が正規分布N (0, σs)に従うと仮定し，この分布に基づく風

袋の更新判定を行った．

サンプルごとに，荷重値を変化させるようなイベントが起こっているかどう

かを判定し，その判定に基づいて風袋を更新する．サンプル si+1で荷重値を変

化させるようなイベントが起こっているかどうかの判定方法を以下に示す．以

降では，サンプル siでイベントが起こっていることを ei = 1，イベントが起こっ

ていないことを ei = 0と表す．

ei = 0のとき，ei+1が 0か 1かを直前の n個のサンプル s(i−n+1):iを利用して

判定する．具体的には s(i−n+1):iのサンプルすべてが次式の条件を満たす場合に

13

ei+1 = 1，そうでなければ ei+1 = 0とした．

|sk − sk0 | > α1σs (k = i− n+ 1, · · · , i) (18)

ただし，sk0は skの直前のm個の荷重値から次式で計算される．

sk0 =∣∣∣∣sk −

∑k−1j=k−m sj

m

∣∣∣∣ (19)

ここで α1は判定を調整するパラメータであり，本研究では α1 = 2とした．こ

れは正規分布N (µ, σ)に従う確率変数が平均値 µから±2σの範囲で観測される

確率が約 95.44 % であるという性質に基づいている．サンプル si+1で動作が起

こっていない (si+1はN (0, σs)に従う確率変数である)のに動作が起こっている

と誤判定される確率を P FPi+1 とすると，P FP

i+1 は次式で計算される．

P FPi+1 = P (ei+1 = 1|∀sk ∼ N (0, σs), i− n+ 1 < k < i) = (1− 0.9544)n (20)

ei = 1のとき，同様に ei+1が 0か 1かを直前の n個のサンプル s(i−n+1):iを利

用して判定する．具体的には s(i−n+1):iのサンプルすべてが次式の条件を満たす

場合に ei+1 = 0，そうでなければ ei+1 = 1とした．

|sk − sk0 | < α2σs (k = i− n+ 1, · · · , i) (21)

sk0は式 (19)で計算される．ここで α2は判定を調整するパラメータであり，本

研究ではα2 = 3とした．これは正規分布N (µ, σ)に従う確率変数が平均値 µか

ら ±3σの範囲で観測される確率が約 99.74 % であるという性質に基づいてい

る．サンプル si+1でイベントが起こっていない (si+1はN (0, σs)に従う確率変

数である)ことが正しく判定される確率をP TNi+1 とすると，P TN

i+1 は次式で計算さ

れる．

P TNi+1 = P (ei+1 = 0|∀sk ∼ N (0, σs), i− n+ 1 < k < i) = 0.9974n (22)

本研究においては，m = 125, n = 25とした．このとき，P FPi+1 = (1−0.9544)25 ≃

0.2979× 10−33となる．また，P TNi+1 = 0.997425 ≃ 0.9370となる．

イベントが起こっている状態からイベントが起こっていない状態に遷移した

ならば，その時刻に観測されたサンプル s∗i を風袋 s∗⊥ (∗ = 1, 2, 3, 4)に代入して

更新を行う．

14

第4章 実験

4.1 実験目的3章で述べた方法を用いて，繰り返し動作の区間および位置の推定を行うこ

とを目的とした実験を行った．繰り返し動作の区間推定では，調理の全工程に

おいて繰り返し動作がどの程度推定できるのかを確認した．さらに，様々な繰

り返し動作に対して 3.1.2節で述べた特徴量のどれを用いれば，精度よく区間推

定ができるのかを確認した．繰り返し動作の位置推定では，推定された動作位

置が動作の対象となる食材の領域内に含まれているかを確認した．

4.2 実験環境類似したデータがあるかどうかを探索する区間のサンプル数Nを 3000，繰り

返し動作かどうかを判定する区間のサンプル数 lを 600とした．サンプリング

レートは 1200としたため，これらの区間はそれぞれ 2.5(s)，0.5(s)である．

また， 3.1.3節で述べた閾値 θを総荷重を用いる場合は 0.60，重心位置を用い

る場合は 0.26，重心位置の変化を用いる場合は 0.10とした．これらの閾値はそ

れぞれ図 9のROC曲線に基づいて決定された．図 9は，総荷重，重心位置，重

心位置の変化をそれぞれ用いた場合の ROC曲線と信頼度のみを用いた場合の

ROC曲線を表す．このうち，信頼度のみを用いた場合のROC曲線については

4.5節で用いる．ROC曲線は閾値 θを変えていったときの TPTP+FN

と FPFP+TN

の

関係を表す．ただし，TP，FN，FP，TNはそれぞれ正解を推定したサンプル

数，正解を推定しなかったサンプル数，不正解を推定したサンプル数，不正解

を推定しなかったサンプル数とする．図 9の＋印はそれぞれ F値が最大となる

点を指しており，この点の閾値をその特徴量の閾値 θとした．ただし，F値は再

現率をRecall，適合率をPrecisionとするとき，2Recall×PrescisionRecall+Precision

で計算される．

4.3 実験内容4.2節のパラメータに基づき，調理中に観測されたデータを用いて実験 1,2を

行った．実験 1では水餃子の調理を行い，調理中に現れる繰り返し動作の区間

および位置を推定した．水餃子の調理には皮を「こねる」(図 10)，ニラを「切

る」(図 11)，具を「混ぜる」(図 12)，皮を「のばす」(図 13)という 4 種類の異

なる繰り返し動作が存在する．また，皮を「こねる」動作は調理の前半と後半

15

図 9: ROC曲線

図 10: 皮を「こねる」 図 11: ニラを「切る」

で現れた．前半の動作を「こねる (前)」動作，後半の動作を「こねる (後)」動

作と呼ぶ．

3.1節で述べた繰り返し動作区間の推定方法により，調理の全工程中から繰り

返し動作の区間を推定した．また，繰り返し動作の種類ごとに区間を推定した．

3.2節で述べた動作位置の推定方法により，調理の全工程中から繰り返し動作の

動作位置も推定した．区間推定と同様に，繰り返し動作の種類ごとに対しても

位置推定を行った．

実験 2では，動作の繰り返しが信号中に明確に表れにくい白菜と鶏肉に対す

る切断加工動作 (図 14, 15)を行い，実験１と同様のパラメータを用いて繰り返

16

図 12: 具を「混ぜる」 図 13: 皮を「のばす」

図 14: 鶏肉を「切る」 図 15: 白菜を「切る」

17

し動作の区間および位置の推定を行った．

4.4 評価方法4.4.1 繰り返し動作区間の評価方法

調理の全工程からの繰り返し動作区間の推定に関しては，相関により推定し

た繰り返し動作区間と手作業で抽出した繰り返し動作区間の再現率・適合率で

評価した．手作業で抽出した区間のサンプル数を S1，推定した区間のサンプル

数をS2， 2つの区間が重なった区間のサンプル数をSとすると，再現率Re・適

合率 Prは次式で計算される．

Re =S

S1

(23)

Pr =S

S2

(24)

また，繰り返し動作の種類ごとに行う区間推定に関しては再現率で評価した．計

算は式 (23)で行われる．

4.4.2 動作位置の評価方法

動作の対象となっている食材の，動作開始直後の領域を正解データとして動

作位置の推定を評価した．手作業で抽出した区間のサンプル数を S1，抽出した

区間のうち正解を推定しているサンプル数をS3とすると，推定精度 hは次式で

計算される．

h =S3

S1

(25)

正解データとして扱う食材領域をマスク画像で表した (図 16, 17)．推定した

位置がマスク画像中の白の領域に属していれば推定は正解であると判定し，推

定した位置がマスク画像中の黒の領域に属していれば，推定は誤りであると判

定した．皮を「こねる」，具を「混ぜる」動作はボウル上で行われた．これら

の動作では，食材がボウル上のどの領域にも存在しうると考えられるため，食

材領域をボウルの領域とした (図 16) ．また，皮を「のばす」，ニラを「切る」，

鶏肉を「切る」，白菜を「切る」動作はまな板の上で行われた．これらの動作

では，食材がまな板上のどの領域にも存在しうると考えられるため，食材領域

をまな板の領域とした (図 17)．

18

図 16: ボウルの領域 図 17: まな板の領域

表 1: 区間推定結果

総荷重 重心位置 重心位置の変化 信頼度のみ

再現率 88.6% 87.4% 83.9% 90.6%

適合率 87.6% 76.4% 80.0% 81.7%

4.5 実験結果・考察4.5.1 実験 1

総荷重，重心位置，重心位置の変化を用いた場合の再現率はそれぞれ 88.6%，

87.4%，83.9%，適合率は 87.6%，76.4%，80.0%となった (表 1)．信頼度のみを

用いて，何かしらの動作が起こっている区間を繰り返し動作とした場合の再現

率・適合率はそれぞれ 90.6%，81.7%となった (表 1，このときの閾値は図 9の

「信頼度のみ」の+印の閾値とした)．再現率の高さから 3.3節で述べたイベント

検出が有効に働いていることが確認できた．信頼度のみを用いた手法に対し，提

案手法のうち総荷重を用いた場合では再現率は低くなるが，適合率はそれ以上

に高くなっていることから，手法の有効性が確認できた．また，平滑化フィル

タを用いた繰り返し動作全体の位置推定の精度は 67.0%となり，平滑化フィル

タを用いない繰り返し動作全体の位置推定の精度は 66.4%となった．

「こねる (前)」，「こねる (後)」，「切る」，「混ぜる」，「のばす」動作の区間推定

の再現率は図 18のようになった．「こねる (前)」，「こねる (後)」，「混ぜる」動作

では，どの特徴量を用いても高い再現率が得られた．「こねる」動作と「混ぜる」

動作では動作中の手の動きが似ているため，これらの動作では図 4，5，6のよ

うな波形が得られる．図 4では類似した波形が観測され，図 5では重心位置に

19

図 18: 様々な繰り返し動作の再現率

ほぼ変化がないことが観測される．そのため，総荷重と重心位置を用いた場合

は高い再現率が得られたと考えられる．また，図 6では，重心位置の変化がほ

ぼ０となっている．重心位置の変化がほぼ０となる区間では，相関をとる際の

正規化の影響で SN比が悪くなる．通常は白色ノイズの相関は低くなる．しか

し，今回の手法では一定範囲内での相関の最大値を利用しており，このために

高い値が出力されている．その結果，再現率の悪化は避けられている．

「切る」動作では，総荷重を用いた場合に高い再現率が得られた．食材への

包丁の入れ方が似ていることから，図 19のように類似した波形が観測されるた

めであると推測される．重心位置を用いた場合にはそれほど高い再現率は得ら

れなかった．これは，包丁を入れる際の衝撃による振動成分の影響でノイズが

多く含まれ，繰り返しが現れにくかったからであると考えられる (図 21)．また，

「切る」動作の重心位置の変化にもノイズが含まれているため，「こねる」動作

の重心位置の変化と同様の理由により，「切る」動作では重心位置の変化を用い

た場合に高い再現率が得られたと考えられる (図 23)．

皮を「のばす」動作では，総荷重を用いた場合には高い再現率が得られなかっ

た．図 20の区間 C，Dのように「のばす」時間の長短によって波形が変わり，

「こねる」動作等に比べ，類似した波形が現れにくかったからである．一方，重

心位置を用いた場合は高い再現率が得られた．これは「のばす」動作がほぼ同

じ位置で行われたからである (図 22)．また，重心位置の変化を用いた場合には

20

図 19: 「切る」の総荷重 図 20: 「のばす」の総荷重

図 21: 「切る」の重心位置 図 22: 「のばす」の重心位置

表 2: 位置推定精度

こねる (前) こねる (後) 切る 混ぜる のばす

平滑化あり 87.1% 1.1% 73.5% 45.1% 92.3%

平滑化なし 85.9% 1.6% 73.0% 44.3% 91.9%

それほど高い再現率が得られなかった．図 24，図 25のように，動作が行われる

につれて重心位置の変化が単調に小さくなっていったからである．

「こねる (前)」，「こねる (後)」，「切る」，「混ぜる」，「のばす」動作の位置推定

精度を表 2に示す．平滑化フィルタを用いた位置推定の精度はそれぞれ 87.1%，

1.1%，73.5%，45.1%，92.3%となった．「こねる (前)」，「のばす」動作では，精

度よく位置推定ができた．これらの動作中は，天板に絶えず力がかかり，天板

の振動を表す振動成分がそれほど大きくならなかったからである．一方，「切る」

21

図 23: 「切る」の重心位置の変化 図 24: 「のばす」の重心位置の変化

図 25: 図 24の拡大図

動作では，それほど高い推定精度は得られなかった．これは食材に包丁を入れ

たときに，衝撃により振動成分が大きくなったことが原因であると推測される．

「こねる (後)」，「混ぜる」動作では，位置推定の精度は低かった．「こねる (後)」

動作では，動作開始直後にボウルの位置が大きく変わり，徐々に正解の領域か

ら離れていったことが低精度の原因である．動作の対象となっている食材の，動

作開始直後の領域を単純に正解データとしたことに問題があった．

「混ぜる」動作に関しては，調理者がまな板とボウルを移動させて，風袋の

更新がされる前に動作を開始したことが低精度の原因である．まな板とボウル

の動きを追い，移動が終わったときに風袋を更新できればこの問題を解決でき

る．また，一般に複数の信号源からの信号が混ざって観測される場合には，独

立成分分析などの手法 [9]によって，観測信号をそれぞれの信号源に分離するこ

とが行われる．しかし，荷重センサでは，二つの物体の移動が同時に行われた

22

図 26: 3種類の「切る」動作の再現率

際の信号と同じ信号を一つの物体の移動のみからでも再現できる．従って，信

号分離の手法を適用することはできないと考えられる．このため，今回の荷重

センサのみの手法では解決が難しく，観測方法の工夫が必要である．

「こねる (前)」，「こねる (後)」，「切る」，「混ぜる」，「のばす」動作の，平滑

化フィルタを用いない位置推定の精度はそれぞれ 85.9%，1.6%，73.0%，44.3%，

91.9%となった (表 2)．正解データや風袋の更新等の問題が起こらなかった「こ

ねる (前)」，「切る」，「のばす」動作では，平滑化フィルタを用いた場合が用い

なかった場合より位置推定の精度が少し高くなった．これは，振動成分が大き

く精度良い位置推定が困難であった区間が動作開始直後と動作終了直前のわず

かな区間であったためであると推測される．

まな板を布巾で「拭く」，小麦粉の袋を「開ける」・「閉じる」動作が繰り返し

動作として誤検出された．一方，調理中に多く見られた，天板に接触したまま

のボウルの移動は正しく棄却できた．

4.5.2 実験 2

動作の各特徴量に対する区間推定の再現率は図 26のようになった．図 26に

は，実験１のニラを「切る」動作も含んでいる．どの食材に対しても総荷重，重

心位置の変化を用いた場合に再現率は高くなり，重心位置を用いた場合に再現

率は低くなるという傾向が見られた．実験１のニラを「切る」動作についての

考察と同様，食材に対する包丁の入れ方が似ていたことと動作中に食材を切る

23

位置が一定間隔で変化していったことが原因であると考えられる．また，鶏肉

を「切る」動作は他の「切る」動作に比べ，再現率が低かった．鶏肉はニラや

白菜のような野菜に比べて切りにくいため，同じ動きが繰り返し現れるまで時

間がかかってしまうことがある．そのため，繰り返し動作と判定されなかった

動きがあったと推測される．このような問題は，一定範囲内で相関をとるとい

う今回の手法では解決できない場合があるため，周波数解析の利用等が今後の

課題として挙げられる．

位置推定の精度は白菜を「切る」動作では 95.9%，鶏肉を「切る」動作では

93.2%となり，ニラを「切る」の 73.5%を大きく上回った．白菜はニラよりも大

きく，鶏肉はニラよりも切りにくいため，食材を固定する力が大きくなり，天板

の振動を表す振動成分がそれほど大きくならなかったからであると推測される．

土本ら [10]は荷重波形のうち「切る」動作が行われたセグメントを検出して

いる．この検出手法を本研究に適用することで，行われた繰り返し動作が「切

る」動作であるかどうかを認識できると考えている．

第5章 おわりに

本稿では，調理台上で行われる繰り返し動作の区間および位置の推定を行う

ことを目的とした．この目的に関連する従来研究としてはカメラを用いる手法

と装着型のセンサを用いる手法がある．カメラでは，調理における重要な動作

とそうでない動作を区別することは難しい．また，装着型のセンサは毎回，調

理前に準備が必要であるため，情報技術になじみのない一般家庭での使用には

敷居が高い．

そこで，荷重センサを用いて繰り返し動作の区間および位置の推定を行った．

荷重センサでは天板上で食材に対する加工が行われたときに信号が発生するた

め，調理前のセンサの装着などの準備が不要でありながら，カメラからの映像

よりも容易に，重要な動作が行われている区間の候補を絞り込むことができる

という利点がある．

荷重センサを用いた動作の位置推定の従来手法では，天板に置かれた物体の

総荷重に変化が生じる，物体を置く・取る動作に対してしか，位置の推定が行

えない．加工動作の多くは動作の前後で総荷重が変化しないため，従来手法に

よる位置の推定はできない．本稿では，物体の総荷重の変化ではなく，動作に

24

起因する荷重値の変化から重心位置の推定を行うことを提案した．衝突による

天板の振動などに起因する，位置推定に悪影響を与える信号中の成分が平滑化

フィルタによって除去できるという性質を利用して頑健に位置推定を行った．

実験では，様々な種類の加工動作が行われる水餃子に対して実際に調理を行

い，提案手法の評価を行った．総荷重，重心位置，重心位置の変化を用いた場

合の再現率はそれぞれ 88.6%，87.4%，83.9%，適合率は 87.6%，76.4%，80.0%

となった．また，位置推定の精度は 67.0%となった．さらに，動作の種類ごと

にどの特徴量を用いれば区間が精度よく推定できるのかを確認した．水餃子の

調理では，皮を「こねる」，ニラを「切る」，具を「混ぜる」，皮を「のばす」動

作という繰り返し動作が現れる．このうち，皮を「こねる」，具を「混ぜる」動

作では，どの特徴量を用いても精度よく区間推定ができた．ニラを「切る」動

作では総荷重と重心位置の変化を，皮を「のばす」動作では重心位置を用いた

場合に区間推定が精度よく行われた．

この他，動作の繰り返しが信号中に明確に表れにくい白菜と鶏肉に対する切

断加工動作を行い，繰り返し動作の区間および位置がどの程度推定されるのか

を確認した．どちらの食材に対しても総荷重と重心位置の変化を用いた場合に

区間推定が精度よく行われた．総荷重，重心位置，重心位置の変化を用いた場

合の再現率はそれぞれ，白菜を「切る」動作で 86.0%，58.5%，89.0%，鶏肉を

「切る」動作で 60.0%，17.3%，61.0%となった．また，位置推定の精度はそれ

ぞれ 95.9%，93.2%となった．

他のセンサを用いた加工動作の認識手法 [11]との統合，区間推定のための周

波数解析の利用，提案手法により抽出した繰り返し動作の区間に対する動作認

識等が今後の課題として挙げられる．

謝辞

本研究を行うにあたり，熱心なご指導を賜りました美濃導彦教授と椋木雅之

准教授に深く感謝致します．また，日頃より熱心なご指導を頂きました舩冨卓

哉助教，橋本敦史助手に深く感謝致します．最後に，本研究に対して多くの助

言を頂きました美濃研究室の皆様に深く感謝致します．

25

参考文献

[1] URL: http://cookpad.com/.

[2] 山肩洋子, 角所考, 美濃導彦: 調理コンテンツの自動作成のためのレシピテ

キストと調理観測映像の対応付け,電子情報通信学会論文誌, Vol. 89, No. 1,

pp. 2817–2829 (2006).

[3] 猿田芳郎, 富井尚志: 加速度センサと RFIDを用いたユビキタス環境での

利用者コンテキスト推定手法, 電子情報通信学会技術研究報告. DE, デー

タ工学, Vol. 107, pp. 43–48 (2007).

[4] 島村祐介, 鈴木優, 武田嵩太朗, 朴春子, 大和田創, 三末和男, 田中二郎: キッ

チンにおける調理者の状況に適した入力インタフェース―調理者の状況分

析と入力インタフェースの開発及び評価―, 情報処理学会第 72回全国大会

(2010).

[5] 久原卓,出口大輔,高橋友和,井手一郎,村瀬洋: CHLAC特徴の周期性解析に

よる料理映像中の繰り返し調理動作区間の抽出と識別, 信学技報, Vol. 110,

No. 457,MVE2010-144, pp. 61–66 (2011).

[6] Orr, R. J. and Abowd, G. D.: The Smart Floor: A Mechanism for Natural

User Identification and Tracking, CHI EA ’00 CHI ’00 Extended Abstracts

on Human Factors in Computing Systems , pp. 275–276 (2000).

[7] Schmidt, A., Strohbach, M., Laerhoven, K. v., Friday, A. and Gellersen,

H.-W.: Context Acquisition Based on Load Sensing, Proc. of the 4th inter-

national conference on Ubiquitous Computing, UbiComp ’02 , pp. 333–350

(2002).

[8] Chi, P.-Y. P., Chen, J.-H., Chu, H.-H. and Lo, J.-L.: Enabling Calorie-

Aware Cooking in a Smart Kitchen, PERSUASIVE2008,LNCS , Vol. 5033,

pp. 116–127 (2008).

[9] 安藤英由樹, 渡邊淳司, 杉本麻樹, 前田太郎: 独立成分分析による爪装着型

センサの接触力と屈曲の分離, 日本バーチャルリアリティ学会論文誌/日本

バーチャルリアリティ学会編, Vol. 8, pp. 379–387 (2003).

[10] 土本良樹, 橋本敦史, 舩冨卓哉, 山肩洋子, 上田真由美, 美濃導彦: 調理にお

ける切断加工時の荷重特徴を用いた食材認識, 電子情報通信学会技術研究

報告. IE, 画像工学, Vol. 110, No. 456, pp. 55–60 (2011).

26

[11] Iscen, A. and Duygulu, P.: Knives are Picked before Slices are Cut: Recog-

nition through Activity Sequence Analysis, CEA ’13 , pp. 3–8 (2013).

27