ほぼリアルタイムでTwitterの流れを分析する

このシナリオは、Talend Real Time Big Data PlatformおよびTalend Data Fabricにのみ適用されます。

Talendでサポートされているテクノロジーの詳細は、Talendコンポーネントをご参照ください。

このシナリオでは、Spark Streamingジョブを作成して、各15秒間隔の最後に、Twitterユーザーが前回の20秒間に自分のツイートでパリに言及した際に最もよく使用しているハッシュタグを分析します。

たとえば、オープンソースのサードパーティプログラムを使用して、特定のKafkaトピックtwitter_liveでTwitterストリームを送受信し、このトピックのツイートを使用するためにこのシナリオで設計したジョブを使用します。

ハッシュタグ付きのTwitter生データの行は、https://dev.twitter.com/overview/api/entities-in-twitter-objects#hashtags (英語のみ)で示されている例のように読み取られます。

このシナリオを複製する前に、Kafkaシステムが稼動していること、また、使用するKafkaトピックにアクセスするための適切な権限とアクセス権があることを確認します。また、TwitterストリームをほぼリアルタイムでKafkaに転送するには、Twitterストリーミングプログラムが必要です。 Talend は、この種のプログラムを提供していませんが、この目的のために作成されたいくつかの無料のプログラムがGithubなどの一部のオンラインコミュニティから入手できます。

tHDFSConfigurationはこのシナリオで、ジョブに依存するjarファイルの転送先となるHDFSシステムに接続するために、Sparkによって使用されます。

このシナリオを複製するには、次の手順に従います。