【論文簡易紹介】Translating Embeddings for Modeling Multi-relational Data

濫読した論文の概要をメモしています。

斜め読みした情報を記載しているため、誤りを含んでいる可能性があります。
誤りを見つけていただいた場合は修正いたしますのでコメント等いただければ幸いです。

メタ情報

要約

• エンティティとリレーションを低次元ベクトル空間へと埋め込む TransE を提案
• 高速に学習でき、大規模な知識ベースへの適用も可能
• リンク予測タスクにおいて 2 つの主要データセット（Wordnet、Freebase）に対して SoTA 達成

先行研究と比較した優位性

リレーションを埋め込み空間内での “遷移” と定義し、ベクトル空間上で head + relation = tail となる埋め込みを学習するアプローチを提案したことが新しい。

既存の研究はいくつかあるが、どれも表現力を向上させるためにパラメータの数を増やしすぎていた。提案手法はそれぞれのエンティティ、リレーションに対して低次元の埋め込み一つで表現できるため、計算コストが非常に小さい。

下表の通り、 既存の手法は埋め込み次元数 k の 2 乗オーダーのパラメータ数になっているが、TransE（提案手法）は k のオーダーになっている。

学習・評価

以下のデータセットを用いて学習・評価を行なった。

• Wordnet
• Freebase

評価の指標は以下の 2 つを利用している。

• MR（mean rank）
  • 初めて正解に遭遇した順位の平均。低いほど良い。
• Hits@10
  • モデルが出力した予測スコアの上位 10 位以内に入っている割合。高いほど良い。

結果は下表の通り。全ての指標において既存手法よりも精度が向上していることがわかる。

関連論文

• A three-way model for collective learning on multirelational data
  • http://www.icml-2011.org/papers/438_icmlpaper.pdf
• Low-Dimensional Hyperbolic Knowledge Graph Embeddings
  • https://www.aclweb.org/anthology/2020.acl-main.617

所感

2013 年の、transition ベースなモデルの元祖とも呼べる TransE の論文について読みました。

今でこそ埋め込み系の手法は一般的ですが、当時は行列（テンソル）系の演算をベースにした手法が多かったようで、低い計算コストで圧倒的な精度を出したこの手法の衝撃は大きかったものと思われます。

7 年たった今の transition ベースなモデルもこの手法と大筋の流れは変わっていないので非常に優れた問題設定を生み出した論文と言ってよさそうです。

本日は以上です。ここまでご覧いただきありがとうございました。