マルチモーダルな野鳥の検索を目的とした知識ベースの構築

概要

実フィールドでの野鳥観測は自然環境理解や環境モニタリングのために重要である．本研究では，野鳥の観測を補助するための野鳥検索システムの構築を目指し，キーワード検索に加え，知識グラフ，音響情報での検索を可能とするためのマルチモーダルな埋込みからなる知識ベースを構築する．これらの複数のモダリティを組み合わせることで，単一モダリティでは見つけることが困難な関係性を互いに補うことで，より柔軟な検索システムの構築が期待できる．本研究では，その第一歩として，個別のモダリティ間のから得られる埋め込みベクトルの違いを分析し可視化することで，複数のモダリティを鳥種検索に用いることの重要性を確認した.

引用情報

寺本 優香, 小島 諒介, マルチモーダルな野鳥の検索を目的とした知識ベースの構築, 言語処理学会第30回年次大会 発表論文集, pp.200--205, 2024-03-11.