コンテンツプロファイルの手動チューニング

コンテンツプロファイル はCxenseスクリプトが設置されたページに対して自動的に生成されます。これはそのウェブページの「指紋」のようなもので、Cxenseのプラットフォームにおいて次のような操作の基礎データとなります：

• Cxense AdvertisingにおけるContextualターゲティング。例）「スポーツに分類されるページにこの広告を表示」

• Cxense Contentにおけるコンテンツマッチによる記事のレコメンド。例）「表示中の記事のプロファイルに似た記事をレコメンド」

• Cxense Insightにおけるトラフィックフィルタ。例）「ネガティブなセンチメントのあるページに対するアクセスは？」

• Cxense Insightにおけるコンテンツ解析。例）「サイト内で現在最も読まれている人物は？」

さらに、コンテンツプロファイルの要素はユーザープロファイルとして挿入されることもあり、Cxenseプラットフォームのパーソナライゼーションの機能に使用されます。

コンテンツプロファイルは手動による調整をほとんど行わなくても生成されますが、より良い結果を出すために手動の調整を行いたいということがあるかもしれません。このページではその方法について示すとともに、どのような場合にどこでこの調整を行なっていくか、ご紹介していきます。

クロールにおける問題の調査

あるURLに対してコンテンツプロファイルが生成されるための前提条件は、そのURLがクロールされることです。クロールは正規化されたURLに対して行われます。すなわち、2つかそれ以上の異なる生のURLが（例えば意味があると考えられるURLパラメータが付与されていたとしても） 正規化された同じURLとして、クロールされる中で同一URLのグループとみなされて、正規化されてしまうかもしれません。 

クロールが行われない場合に発生する事象には次のような例があります：

•  そのURLに対するコンテンツプロファイルが有効でない

•  そのURLに対するコンテンツプロファイルがそのURLから得られる要素のみで、実際のページコンテンツが含まれていない。
  

これは /profile/content/fetch API、あるいはCxense Insightの画面を用いて簡単にチェックできます。例えば

•  「トップランキング」のレポートにおいて、ドキュメントにタイトルの代わりに生のURLのみが表示されている

•  「ページの統計」のレポートにおいて、コンテンツプロファイルが site, category, taxonomy key のみが表示されている

このケースで考えられる原因としては、ホワイトリストされていないサイトが含まれている、ページ数が制限値に達した（通常は非常に大きなサイトのみにしか現れない）、あるいは何らかの理由により問題のURLをクロールすべきでないページとしてCxenseが判断した場合などがあります。

現時点ではクロールに関する問題についてはお客様自身で解決することは難しいため、Cxenseサポートにご連絡をお願いします。

URLの正規化に関する問題の調査と対応

同様に、URLの正規化に関する問題には以下のような症状があります：

• URLパラメータが無視され、異なるページに対するトラフィックが一つのURLにまとまっている。
  例）http://www.example.com/?id=123 と http://www.example.com/?id=456 は実際には異なるページなのに同じページとして扱われ、トラッフィックデータが合算されている

•  複数のURLから同じページへアクセスできるようになっているが、そのページに対するトラフィックがそれぞれのURLごとに扱われている。例）http://www.example.com/foo と http://www2.example.com/foo は実際には同じページなのにトラフィックデータが別々にレポートされている

これはCxense Insightの「トップランキング」を参照することで簡単にチェックできます。現時点ではURL正規化に関するほとんどの問題はお客様自身で解決することは難しく、Cxenseサポートにご連絡をお願いします。例外として、JavaScript APIによるロケーション上書き機能は環境によってはご利用可能です。

コンテンツがインデックスされない問題の調査

ページがクロールされると、コンテンツプロファイルが作られるとともに検索インデックスにページ情報が格納されます。もし /document/search API でもページが検索インデックスに見つからない場合、問題は canonical または og:url がクロールされたURLと一致しないことが原因となります。この場合にはページはインデックスされません。

関連語解析の問題調査と対応

ページがクロールされると同時に、HTMLが解析されます。そして自然言語処理が実行されるべきページ上に関連した非構造化テキストを自動的に認識してアルゴリズムが適用されます。一般的なニュース記事ではこの処理が正常に作動しますが、探索的構文解析では失敗することもあります。不要で不適切なテキストを抽出することは、コンテンツプロファイルを意味のないものにしてしまう要因となります。

問題のあるページのコンテンツプロファイルを見つけ出すには /profile/content/fetch API か Cxense Insight 画面 を使います。コンテンツプロファイルがページの論理コンテンツに対して無意味な要素を含むようなら、（例えば、ドキュメントヘッダーまたはフッターまたはサイドバーにあるコンテンツの一部から明らかに生じている要素を含んでいる）HTML構文解析に問題があるのかもしれません。HTML構文解析の問題に対してはこちらで紹介されている、非構造化テキストを含むページ上の要素を抽出するよう Cxense HTMLパーサーを用いてHTMLにマークアップを追加することができます。基本的には関連する箇所に divタグでマークアップを追加するだけです。

関連語抽出の問題の調査と対応

ページがクロールされ、関連する箇所のテキストが抽出されパースされると、そのテキストには自然言語処理が行われ、言語固有のアルゴリズムによって構造化データが取り出されます。場合によってはこの抽出プロセスをチューニングすることが必要となることもあります。/profile/content/fetch API または Cxense Insight を使って特定の問題あるページのコンテンツプロファイルを確認できます。

手動で構造化データの要素をコンテンツプロファイルに追加するには、2つのオプションがあります：

• 特定の<meta>タグをページのHTMLマークアップに追加します。こちらにその方法を記載しています。

• /profile/content/external/update API のenrichモードを用いて情報を追加します

どちらの場合も、問題のページが再クロールおよび再処理されることにより変更が適用されます。
再クロールを行うは3つのオプションがあります：

•  クローラが自動的に再クロールするタイミングを待つ。

• /profile/content/push API によって再クロールを要求する

• Cxense Insightの「ページの統計」＞「ページの管理」にある「再クロール」のボタンにより再クロールを実施する。

コンテンツプロファイルにあるすべての構造化データの要素を手動で上書きするには、/profile/content/external/update APIのreplace モードを使用します。この場合も上記のCxenseのバックエンドシステム内の配布・適用までに時間の問題があることに注意してください。

Last updated: January 24, 2022