Есть ли способ подсчитать количество уникальных слов в потоке с потоковой передачей Flink? Результатом будет поток количества, который продолжает увеличиваться.
Как считать уникальные слова в потоке?
Ответ 1
Вы можете решить проблему, сохранив все слова, которые вы уже видели. Имея это знание, вы можете отфильтровать все повторяющиеся слова. Остальное можно затем подсчитать с помощью оператора отображения с parallelism 1
. Этот фрагмент кода делает именно это.
val env = StreamExecutionEnvironment.getExecutionEnvironment
val inputStream = env.fromElements("foo", "bar", "foobar", "bar", "barfoo", "foobar", "foo", "fo")
// filter words out which we have already seen
val uniqueWords = inputStream.keyBy(x => x).filterWithState{
(word, seenWordsState: Option[Set[String]]) => seenWordsState match {
case None => (true, Some(HashSet(word)))
case Some(seenWords) => (!seenWords.contains(word), Some(seenWords + word))
}
}
// count the number of incoming (first seen) words
val numberUniqueWords = uniqueWords.keyBy(x => 0).mapWithState{
(word, counterState: Option[Int]) =>
counterState match {
case None => (1, Some(1))
case Some(counter) => (counter + 1, Some(counter + 1))
}
}.setParallelism(1)
numberUniqueWords.print();
env.execute()