Google App Engine: Datastore のクエリを理解しよう

Google App Engine:Datastore のクエリを理解しよう

@bufferings2010/07/31

appengine ja night #9


自己紹介@bufferings

● #appengine ja night in kansaihttp://www.ustream.tv/channel/ajnk

● Slim3 サイトの日本語化http://sites.google.com/site/slim3documentja/

● Kotori Web JUnit Runner(ktrwjr ことーじゃ )http://code.google.com/p/ktrwjr/

http://www.ustream.tv/channel/ajnk

http://sites.google.com/site/slim3documentja/

http://code.google.com/p/ktrwjr/


クエリの前に


Datastore


Bigtable


Bigtable

Row name Row dataA distributed, shareded, sorted Array


Entity


Entity


Entities Table


Entities TablePath


Entities Table > 例

※ この図は概念図です。実際の実装を表すものではありません。

#appengine ja night in kansai 2 ( #ajnk2 )12

ソフトスキーマ

#appengine ja night in kansai 2 ( #ajnk2 )13

Null 値と Missing


Query & Index Tables● Bigtable からのデータ取得● Datastore からのデータ取得● Query● Query と Index● Merge Join● 制約● Query と MVP


Read


Prefix Scan


Range Scan




Get


Get● Key = MyApp/Person(1)/Person(10)


（参考） Batch Get


Query


Query


Query


Index● 使用する全ての Query に対して Index が必要● 問い合わせ時の計算・集約・ Join はできない● プロパティの一部を返すことはできない

( キーだけを返すことは可能 )● Entity を更新したら関係する Index が更新される




Query の構成● Kind を指定● 0 個以上のフィルタを指定

=, <=, <, >, >=, !=, IN● 0 個以上のソート順を指定

ASC, DESC

※Kind を指定しない Kindless Query という特別な種類の Query もあります


Query と Kind● Query は単一の Kind の Entity だけを取得

→これが Kind の主な目的


制約● あるプロパティをフィルタまたはソートするには、そ

のプロパティが存在する必要がある● 不等式フィルタが使用できるのは 1 つのプロパ

ティに限られる● 不等式フィルタで使用されているプロパティは他の

ソート順よりも先にソートする必要がある






Query の仕組みを知ることで制約の理由がわかります。

→ 今日の目標




Index Tables● 自動で作成される Index

● Kind Index● Single Property Index

● 定義が必要な Index● Custom Index


Kind Index


Kind Index● 特定の Kind の全 Entity を取得


Kind Index● 特定の Kind の全 Entity を取得

● [Kind] Food


Single Property Index● ASC


Single Property Index● DESC


Single Property Index● 1 つのプロパティに対する Filter● 1 つのプロパティに対する Sort● 1 つのプロパティに対する Filter と Sort


Single Property Index● 1 つのプロパティに対する Filter

● [Filter] name = "Suzuki"


Single Property Index● 1 つのプロパティに対する Filter

● [Filter] name > "B" and name < "T"


Single Property Index● 1 つのプロパティに対する Sort

● [Sort] name DESC


Single Property Index● 1 つのプロパティに対する Filter と Sort

● [Filter] name > "B" and name < "T"● [Sort] name ASC


Custom Index


Custom Index● 2 つ以上のプロパティに対する Sort● 2 つ以上のプロパティに対する Filter● Ancestor と Filter または Sort● Key の降順ソート

※ Merge Join （後述）で可能な Query もあります。


Custom Index● Custom Index の定義


Custom Index● 2 つ以上のプロパティに対する Sort● [Sort] height ASC, weight DESC


Custom Index● 2 つ以上のプロパティに対する Filter● [Filter] lastname = "Suzuki" and

firstname = "Jiro"


Custom Index● 2 つ以上のプロパティに対する Filter

● [Filter] lastname = "Suzuki" and firstname >= "B" and firstname < "T"


Custom Index● 2 つ以上のプロパティに対する Filter

● [Filter] height >= 170● [Sort] height ASC, weight DESC


Custom Index● 不等式フィルタ使用時の 3 つのルール● その１

1 つの不等式フィルタと複数の等式フィルタがある場合は、まず等式フィルタのプロパティでソートされ、次に不等式フィルタのプロパティでソートされなければならない


Custom Index● [Filter] height >= 165 and weight = 70● [Sort] height ASC, weight DESC


Custom Index● 不等式フィルタ使用時の 3 つのルール● その 2

1 つの不等式フィルタと複数のソート順がある場合は、まず不等式フィルタのプロパティでソートされ、次にその他のプロパティでソートされなければならない


Custom Index● [Filter] weight > 60● [Sort] height ASC, weight DESC


Custom Index● 不等式フィルタ使用時の 3 つのルール● その 3

不等式フィルタは１つのプロパティにしか適用できない


Custom Index● [Filter] height >= 170 and weight >= 70


Custom Index● [Filter] height >= 170 and weight >= 70


Custom Index● Ancestor と Filter または Sort

● Ancestor Query は今日は説明しません


Custom Index● Key の降順 Sort には Custom Index が必要


ここまでのまとめ● 自動で作成される Index

● Kind Index– 特定の Kind の全 Entity を取得

● Single Property Index– 1 つのプロパティに対する Filter– 1 つのプロパティに対する Sort– 1 つのプロパティに対する Filter と Sort


ここまでのまとめ● 定義が必要な Index

● Custom Index– 2 つ以上のプロパティに対する Sort– 2 つ以上のプロパティに対する Filter– Ancestor と Filter または Sort– キーの降順 Sort




Merge Join● 複数のプロパティに対して等式フィルタのみを適用

する場合は、 Custom Index を使用せずに Queryを実行することができる

● 条件● [Filter] 等式フィルタのみ● [Sort] なし


Merge Join● 複数の Single Property Index をマージしながら検

索⇒ "Merge Join"● Key がソートされていることを利用して "zig-zag" ア

ルゴリズムを使用


Merge Join● [Filter] a=1 and b=2 and c=3




















Merge Join● データ量が増えてくると Merge Join では処理しき

れなくなる⇒「 Custom Index が必要」というエラーになる

● Custom Index が定義されている場合は Merge Join せずに Custom Index が使用される











MVP と等式フィルタ● Entity1(Key1)

● favorite=["apple", "google"]● Entity2(Key2)

● favorite=["google"]● Entity3(Key3)

● favorite=["orange"]


MVP と等式フィルタ


MVP と等式フィルタ● [Filter] favorite="google"


MVP と等式フィルタ● リスト内のいずれかの値が等式フィルタに一致す

れば取得される


MVP と等式フィルタ● [Filter] favorite="google" and favorite="apple"● Merge Join によって Entity1 が取得される


MVP と不等式フィルタ● Entity1(Key1)

● val=[1, 3, 5]● Entity2(Key2)

● val=[2, 3, 4]


MVP と不等式フィルタ● Entity1(Key1)


● val=[2, 3, 4]


MVP と不等式フィルタ● [Filter] val >= 3● 最初にマッチしたものが採用される


MVP とソート順● Entity1(Key1)


● val=[2, 3, 4]


MVP とソート順


MVP とソート順● ASC でも DESC でも Entity1,Entity2 の順になる


インデックス爆発● MVP に対するフィルタを複数持つ Custom Index を

作成した場合● Entity1

● val1: 要素数 10● val2: 要素数 10

● Custom Index● [Sort] val1 ASC, val2 ASC⇒Entity1 の Index は 100 行になる


インデックス爆発● 1Entity に対するインデックス数は 5000 まで● Entity2

● val1: 要素数 18● val2: 要素数 18● val3: 要素数 18

● Query● [Filter] val1=x and val2=y and val3=z

⇒ インデックス爆発


インデックス爆発● Ancestor Query の Custom Index

● Ancestor は展開される● 深い EG を形成している場合に MVP との組み合

わせでインデックス爆発になりやすい


Next gen queries● Merge Join と Multi Query(Custom Index を使用す

るもの ) の実装がパワーアップするらしいhttp://code.google.com/events/io/2010/sessions/next-gen-queries-appengine.html


参考● Programming Google App Engine

http://www.amazon.co.jp/o/ASIN/059652272X● Under the Covers of the Google App Engine Datastore

http://sites.google.com/site/io/under-the-covers-of-the-google-app-engine-datastoreスライドはhttp://snarfed.org/space/datastore_talk.html

● @kazunori_279 さんの「 GAE/J ってどう使う？」http://d.hatena.ne.jp/kazunori_279/20090617/1245224939

● @ashigeru さんの「レンジスキャンのアレ」http://gist.github.com/294650

● Cacoo (カクー )http://cacoo.com/

http://www.amazon.co.jp/o/ASIN/059652272X

http://sites.google.com/site/io/under-the-covers-of-the-google-app-engine-datastore

http://snarfed.org/space/datastore_talk.html

http://d.hatena.ne.jp/kazunori_279/20090617/1245224939

http://gist.github.com/294650

http://cacoo.com/


ありがとうございました

Technology

Google App Engine: Datastore のクエリを 理解しよう

Google App Engine: Datastore のクエリを理解しよう