ご挨拶
どうもお久しぶりです、gucciです。
パソコンを一日ずっと同じような姿勢で叩いていると、肩甲骨周りの筋肉が凝り固まってきて、しまいには肩こりからくる吐き気やストレスに襲われて日常生活に支障をきたしてしまいます。
そんな時にオススメなのが、ストレッチポールです。
最近やっていること
さて、space
NGTって何？ベクトルデータって何？というのは、我がぶちょー・弊社並河の個人ブログ にとてもわかりやすいエントリーがありますので、是非そちらを参考にしてみてください。aran が教えてくれたので、
SPTAGをインストールしてみよう
github.com
NGTのGithubには日本語の説明があるのに対して、SPTAGは英語オンリーの模様ですね。
swig >= 3.0
cmake >= 3.12.0
boost >= 1.67.0
tbb >= 4.2
とありますので、順々にインストールしていきましょう。
Swigのインストール
必要ver : swig >= 3.0
swingはパッケージがあるのであっという間に入れられます。
$ apt list swig
Listing... Done
swig/bionic,now 3.0.12-1 amd64 [installed]
よしよし。
$ sudo apt install swig
これでばっちりです。
cmakeのインストール
必要ver : cmake >= 3.12.0
cmakeなんてもちろんすぐ入れられるよ、むしろ入ってるんじゃないかな、
$ cmake --version
cmake version 3.10.2
versionが古いではないか・・・
$ apt list cmake
Listing... Done
cmake/bionic 3.10.2-1ubuntu2 amd64
なるほど。パッケージにあるのがそれなのですね。
$ wget https://github.com/Kitware/CMake/releases/download/v3.14.5/cmake-3.14.5-Linux-x86_64.sh
$ chmod +x cmake-3.14.5-Linux-x86_64.sh
$ sudo ./cmake-3.14.5-Linux-x86_64.sh
$ sudo mv cmake-3.14.5-Linux-x86_64 /opt
$ sudo ln -s /opt/cmake-3.14.5-Linux-x86_64/bin/* /usr/bin
$ cmake --version
cmake version 3.14.5
成功です。
boostのインストール
必要ver : boost >= 1.67.0
続いてboost。
$ apt list libboost-dev
Listing... Done
libboost-dev/bionic 1.65.1.0ubuntu1 amd64
ブーストよ、お前もか。
$ wget https://dl.bintray.com/boostorg/release/1.68.0/source/boost_1_68_0.tar.bz2
$ tar --bzip2 -xf boost_1_68_0.tar.bz2
$ cd boost_1_68_0/
$ ./bootstrap.sh
$ sudo ./b2 install
〜少し時間がかかります〜
無事に終わりましたね。お疲れ様です。
tbbのインストール
必要ver : tbb >= 4.2
最後にtbbのインストールです。
$ apt list libtbb-dev
Listing... Done
libtbb-dev/bionic 2017~U7-8 amd64
お、ありますね。
$ sudo apt install libtbb-dev
さあ準備は整いました。いよいよSPTAGをインストールしてみましょう。
SPTAGをインストール
$ git clone https://github.com/microsoft/SPTAG.git
クローンしてあげたら、後はREADME にあるとおりに実行すれば・・・
$ cd SPTAG
$ mkdir build
$ cd build && cmake .. && make
最後にインストールです！
$ sudo make install
・・・
CMake Error at Wrappers/cmake_install.cmake:87 (file):
file INSTALL cannot find "/home/develop/SPTAG/Wrappers/src/SPTAG.py".
Call Stack (most recent call first):
cmake_install.cmake:43 (include)
こけました！！
$ cd ..
$ find . -name SPTAG.py
./Wrappers/inc/SPTAG.py
./Release/SPTAG.py
いたぁあああああああああ！
$ cp ./Wrappers/inc/SPTAG.py ./Wrappers/src/
コピーしてきて、再実行！お願い！
$ cd build/
$ sudo make install
エラー起きず！やりました！
README には「テストやってみてね」と書いてあるのでやりましょう。
$ cd ../Release/
$ ./test
Load Data From delindices/vectors.bin
Load Data (97, 10) Finish!
Load BKT From delindices/tree.bin
Load BKT (1,98) Finish!
Load Graph From delindices/graph.bin
Load Graph (97,32) Finish!
10@(1,1) 90@(3,3) 250@(5,5)
*** No errors detected
やりました。我々はついにたどり着いたのです。
GettingStart に詳しい使い方があるので、さっそく試してみましょう。
$ indexbuilder
Required option not set:
-d, --dimension <value> Dimension of vector.
Required option not set:
-v, --vectortype <value> Input vector data type. Default is float.
Required option not set:
-i, --input <value> Input raw data.
Required option not set:
-o, --outputfolder <value> Output folder.
Required option not set:
-a, --algo <value> Index Algorithm type.
Usage:
-t, --thread <value> Thread Number.
--delimiter <value> Vector delimiter.
-d, --dimension <value> Dimension of vector.
-v, --vectortype <value> Input vector data type. Default is float.
-i, --input <value> Input raw data.
-o, --outputfolder <value> Output folder.
-a, --algo <value> Index Algorithm type.
-c, --config <value> Config file for builder.
ふむふむ。なるほど。上の5つは必要なオプションなのですね。
そしてInputのformatは、
<metadata1>\t<v11>|<v12>|<v13>|
<metadata2>\t<v21>|<v22>|<v23>|
であると。なるほど。
手元に実況パワフルプロ野球2018年の開幕版データがたまたまあるので、それを使ってやってみましょう。
山田哲人 50|73|81|65|77|62|
大引啓次 36|53|67|60|58|73|
西浦直亨 25|51|60|51|50|48|
川端慎吾 56|51|65|58|56|50|
武内晋一 30|46|48|46|71|65|
荒木貴裕 33|54|60|62|51|53|
畠山和洋 32|61|29|54|65|61|
・
・
・
6次元のベクトルで、
<選手名> ミート力 |パワー|走力|肩力|守備|捕球|
といったステータスになっております。
インデックスの作成
$ indexbuilder -d 6 -i ./input_yasyu_list_sptag.tsv -o ./powerpro2018_SPTAG -v Int8 -a KDT
Setting NumberOfThreads with value 32
・
・
・
Start to build KDTree 1
1 KDTree built, 394 396
build RNG graph!
Refine 1 0%Refine RNG, graph acc:0.992813
Refine 2 0%Refine RNG, graph acc:0.997813
Build RNG Graph end!
Save Data To ./powerpro2018_SPTAG/vectors.bin
Save Data (396, 6) Finish!
Save KDT to ./powerpro2018_SPTAG/tree.bin
Save KDT (1,396) Finish!
Save Graph To ./powerpro2018_SPTAG/graph.bin
Save Graph (396,32) Finish!
やりました。成功です！
インデックスの検索
続いて検索を行ってみましょう！
適当に検索クエリ用のファイルを作成します。
パワー100 0|100|0|0|0|0|
これを使って検索を投げてみます。
$ indexsearcher ./powerpro2018_SPTAG Index.QueryFile=./testSPTAG_Query.tsv Index.ResultFile=./testSPTAG_Result.tsv Index.K=10
・
・
・
Load Data From ./powerpro2018_SPTAG/vectors.bin
Load Data (396, 6) Finish!
Load KDT From ./powerpro2018_SPTAG/tree.bin
Load KDT (1,396) Finish!
Load Graph From ./powerpro2018_SPTAG/graph.bin
Load Graph (396,32) Finish!
Set []/powerpro2018_SPTAG = ./powerpro2018_SPTAG
Set [Index]QueryFile = ./testSPTAG_Query.tsv
Set [Index]ResultFile = ./testSPTAG_Result2.tsv
Set [Index]K = 10
Load data: (1, 6)
[avg] [99%] [95%] [recall] [mem]
Setting MaxCheck with value 2048
2048 0.000129 0.0001 0.0001 0.0000 0GB
Output results finish!
やりました。成功です！
結果のファイルを見てみると・・・
パワー100:0.307@アマダー|0.362@Ｇ後藤武敏|0.370@マレーロ|0.370@山川穂高|0.378@阿部慎之助|0.386@黒瀬健太|0.394@園部聡|0.394@デスパイネ|0.402@バティスタ|0.402@メヒア|
実データで並べてみると・・・
アマダー 37|80|18|52|30|38|
Ｇ後藤武敏 25|61|31|39|35|30|
マレーロ 57|85|42|56|37|36|
山川穂高 51|86|41|53|46|40|
阿部慎之助 46|69|15|51|27|41|
黒瀬健太 19|51|21|51|24|15|
園部聡 18|60|42|56|21|19|
デスパイネ 45|84|52|66|36|40|
バティスタ 46|81|53|69|35|29|
メヒア 42|80|42|60|44|47|
おぉぉ、力自慢の男たちがずらりとでてきましたね。
NGTでやってみる
同じ元データで作ったインデックスに対して、同様のクエリを投げる作業をNGTでもやってみました。
Query No.1
Rank ID Distance
1 316 81.2711
2 84 82.1766
3 280 84.5044
4 217 87.327
5 42 91.1757
6 375 91.4549
7 385 91.4549
8 286 95.3625
9 31 96.566
10 186 98.3972
Query Time= 0.000167582 (sec), 0.167582 (msec)
Average Query Time= 0.000167582 (sec), 0.167582 (msec), (0.000167582/1)
こちらを実データで並べてみると・・・
19 51 21 51 24 15 黒瀬健太 316
25 61 31 39 35 30 Ｇ後藤武敏 84
37 80 18 52 30 38 アマダー 280
18 60 42 56 21 19 園部聡 217
46 69 15 51 27 41 阿部慎之助 42
41 62 45 33 30 35 清宮幸太郎 375
41 62 45 33 30 35 今井順之助 385
27 60 56 42 29 32 岩見雅紀 286
26 60 46 46 39 36 鵜久森淳志 31
24 51 44 63 20 20 青木陸 186
ほほお・・・SPTAGとは異なる結果になりました。
おわりに
いかがだったでしょうか。
ということで！
アスタミューゼは常に新しいものや面白いものに挑戦しています！
