濫読した論文の概要をメモしています。
斜め読みした情報を記載しているため、誤りを含んでいる可能性があります。
誤りを見つけていただいた場合は修正いたしますのでコメント等いただければ幸いです。
画像は全て論文内からの引用です。
メタ情報
| 論文・学会誌 | NAACL 2018 |
| 発行日 | 2017年12月6日 |
| リンク | https://arxiv.org/abs/1712.02121 |
要約
- CNN を使ったトリプル（head, relation, tail）の埋め込み手法 ConvKBを提案
- ConvKB による特徴抽出は transition ベースの手法の一般化として解釈可能であると主張
- WN18RR、FB15k-237 データセットに対して SoTA な精度を達成
先行研究と比較した優位性
既存の CNN を使ったトリプル埋め込み手法である ConvE はトリプル（head, relation, tail）を同じ特徴空間に埋め込む手法のため、グローバルな関係性を表現することができていない課題があった。
提案手法はトリプルをそれぞれ別の空間に埋め込んでから結合するアプローチをとっているため、トリプルのそれぞれの要素を柔軟に表現することができている。
学習・評価
学習
以下のデータセットを利用して学習を行なった。
- WN18RR
- FB15k-237
TransE の学習から得られたエンティティ、リレーション埋め込みを初期重みとして追加学習するアプローチを採用した。
TransE は、以下のパラメータを探索して Hits＠10 スコアが最大となったモデルを採用している。
- 埋め込み次元
- 学習率
- L1 ノルム
- L2 ノルム
評価
以下のデータセットを利用して評価を行なった。
- WN18RR
- FB15k-237
また、指標は以下の 3 つ。
- MR（mean rank）
- 初めて正解に遭遇した順位の平均。低いほど良い。
- MRR（mean reciprocal rank）
- 平均逆順位。初めて正解に遭遇した順位の逆数。高いほど良い。
- Hits@10
- モデルが出力した予測スコアの上位 10 位以内に入っている割合。高いほど良い。
結果は下表の通り。
関連論文
- Convolutional 2D Knowledge Graph Embeddings
- Modeling Relational Data with Graph Convolutional Networks
所感
知識グラフのリンク予測（欠損補完）タスクを CNN を使って解く論文を読みました。
論文も短いですし、ネットワークもシンプルなので読みやすいです。
結果については、かなりパラメータチューニングされた初期モデル（TransE） を使っているところが気になりました。単体モデルでの精度再現が難しい点は今後の課題と思われます。
また、 relation と head / tail を別の空間に埋め込むのは理解できるのですが、 head と tail を別空間に分けた方が良いのかについては疑問が残りました。
本日は以上です。ここまでご覧いただきありがとうございました。
コメント