いつもはてなブックマークをご利用いただき、ありがとうございます。
自然言語処理を使った新機能「トピック」において、内容が重複している記事が複数ある場合、1つだけ表示するようロジックを改善しましたので、お知らせします。トピック機能は、「人気エントリー」から関連性の高い記事をまとめて、ページを自動生成するものです。新聞社や通信社の記事が外部サイトへ配信されるなどして、内容が同じ記事がトピック内にいくつか表示されることがありましたが、今回、重複コンテンツを判定する仕組みを見直しました。
今後、この新しい重複コンテンツ判定の仕組みを、人気エントリーなどにも適用していく予定です。
トピック機能について詳しくは、こちらのエントリーをご覧ください。
