クロール

https://docs.piano.io/the-composer-1x-crawler

コンテンツの統合処理の自動化の1つで、Piano Insightのウェブロボットがお客様のサイトを訪問します。

ウェブページはURLによって識別されます。同一のページが多くの異なるURL（ページの表示内容とは無関係のパラメータが含まれるため）によって参照されることもよくあるケースです。このため、Piano Insight プラットフォームはURLの正規化処理を適用し、複数の異なるURLが実際には同じページを参照しているかどうかを判別します。以下においてページ数について言及している場合、特に記述がない限りはその数は正規化後のページ数をさしています。

• 新しいページは処理能力が許す限り直ちにクロールされます。
  注意点: ページがクロールされるには少なくともそのページが6時間以内に3回アクセスされる必要があります。

• ページが最後にクロールされてから更新された modified_time のメタタグ を含む場合は処理能力が許す限り直ちに再クロールされます。

• 以前に参照されたページはその後にトラフィックが発生すると再クロールされることがあります（再クロールの間隔は公表しておりません）。

• 個々のページは、APIメソッド呼び出しあるいはPiano InsightのGUIから手動で再クロールをキックすることができます。

クローラー側で処理のキャパシティが逼迫している際には、クロールの優先順位付けの方法としてページビューカウントを使用します。すなわち、人気のあるページが人気のないページよりも優先的にクロールを行います。

Piano Insightのウェブロボットは、ホワイトリストとブラックリストのサイトで動作します。ホワイトリストのサイトに対しては、クロールするページ数は無制限です。ブラックリストのサイトに対してはクロールされません。グレーリストのサイト（ホワイトリストでもブラックリストでもないサイト）に対しては、サイトページのサブセットのみクロールされます。グレイリスティングはデフォルトです。サイトをホワイトリストあるいはブラックリストに移動する必要がある場合にはPianoサポートにご連絡ください。

外部リソース

大抵の場合、クロールされたページは画像やスクリプトなどの外部リソースを参照します。これらの外部リソースは通常ロードおよび実行されますが、Pianoは問題のある外部リソースをブロックすることがあります。このような外部リソースには、サードパーティのアナリティクスタグや（アナリティクスタグを実行するとページビューがカウントされてしまうため）、応答の遅いあるいは応答しないドメインにある外部リソース（そのようなリソースをロードするとクロールのスループットに重大な影響が出るため）などがあります。

もしお客様の方で、コードのある部分をPiano Insightクローラーに実行されないようにしたい場合、そのコードを以下のようにラップすることができます。

if (navigator.userAgent.toLowerCase().indexOf('cxensebot') == -1) {
    // こちらのコードはCxenseクローラーによって実行されません。
}

ペイウォールで保護されたコンテンツ

ペイウォールで保護されたコンテンツに対し、Piano Insightのウェブロボットのアクセスを許可する方法があります。実際の方法はペイウォールソリューションの仕様に依存しますが、適切なアクセス許可を行うためには、訪問者がPiano Insightのウェブロボットなのかどうかをペイウォールが識別出来る必要があります。このセクションでは、この目的のためにペイウォールが取れる手段を列挙します（推奨順）。

User-Agent ヘッダ

Piano Insightウェブロボットの訪問は、User-Agent HTTPヘッダーを見ることにより識別できます:
User-Agent 文字列の中に cXensebot が含まれるかどうかを確認してください。

DNS 逆引き

Piano Insight のウェブロボットの訪問は、*.cxensebot.com へ逆引き可能な IP アドレスから行われます。
これは IP アドレスを用いるよりも長期的に有効なチェック方法ですが、全てのシステムがサポートしているわけではありません。

IP アドレス

Piano Insight のウェブロボットからの訪問は、このページに記載のIPアドレスから行われます。

5.9.190.96/27 あるいは 5.9.190.96 、ネットマスク 255.255.255.224 のようにネットワークを指定することも可能です。

ベーシック認証

特殊な状況下では、RFC 1945 section 11.1で記述されている、HTTPベーシックアクセス認証を使用することが可能です。

ソフト404エラー

一部のページではHTTPステータスコードが通常の「404 Not Found」ではなく、「200 OK」と見なされて、"Not Found" エラーが表示されます。これはソフト404エラーと呼ばれています。クローラは「ページが見つかりませんでした」のような目立つ位置にある文章(*)を探して、ページコンテンツを分析することでそのようなエラーを検出しようとします。

Last updated: July 03, 2025