リンク予測 知識グラフ

【論文簡易紹介】A Novel Embedding Model for Knowledge Base Completion Based on Convolutional Neural Network

リンク予測

濫読した論文の概要をメモしています。

斜め読みした情報を記載しているため、誤りを含んでいる可能性があります。
誤りを見つけていただいた場合は修正いたしますのでコメント等いただければ幸いです。
画像は全て論文内からの引用です。

メタ情報

論文・学会誌NAACL 2018
発行日2017年12月6日
リンクhttps://arxiv.org/abs/1712.02121

要約

  • CNN を使ったトリプル(head, relation, tail)の埋め込み手法 ConvKBを提案
  • ConvKB による特徴抽出は transition ベースの手法の一般化として解釈可能であると主張
  • WN18RR、FB15k-237 データセットに対して SoTA な精度を達成

先行研究と比較した優位性

既存の CNN を使ったトリプル埋め込み手法である ConvE はトリプル(head, relation, tail)を同じ特徴空間に埋め込む手法のため、グローバルな関係性を表現することができていない課題があった。

提案手法はトリプルをそれぞれ別の空間に埋め込んでから結合するアプローチをとっているため、トリプルのそれぞれの要素を柔軟に表現することができている。

ConvKB の処理フロー

学習・評価

学習

以下のデータセットを利用して学習を行なった。

  • WN18RR
  • FB15k-237

TransE の学習から得られたエンティティ、リレーション埋め込みを初期重みとして追加学習するアプローチを採用した。

TransE は、以下のパラメータを探索して Hits@10 スコアが最大となったモデルを採用している。

  • 埋め込み次元
  • 学習率
  • L1 ノルム
  • L2 ノルム

評価

以下のデータセットを利用して評価を行なった。

  • WN18RR
  • FB15k-237

また、指標は以下の 3 つ。

  • MR(mean rank)
    • 初めて正解に遭遇した順位の平均。低いほど良い。
  • MRR(mean reciprocal rank)
    • 平均逆順位。初めて正解に遭遇した順位の逆数。高いほど良い。
  • Hits@10
    • モデルが出力した予測スコアの上位 10 位以内に入っている割合。高いほど良い。

結果は下表の通り。

精度評価の結果

関連論文

所感

知識グラフのリンク予測(欠損補完)タスクを CNN を使って解く論文を読みました。
論文も短いですし、ネットワークもシンプルなので読みやすいです。

結果については、かなりパラメータチューニングされた初期モデル(TransE) を使っているところが気になりました。単体モデルでの精度再現が難しい点は今後の課題と思われます。

また、 relation と head / tail を別の空間に埋め込むのは理解できるのですが、 head と tail を別空間に分けた方が良いのかについては疑問が残りました。

本日は以上です。ここまでご覧いただきありがとうございました。

コメント

タイトルとURLをコピーしました