WordCount

Beschreibung

WordCount
Nilesh Patel
Notiz von Nilesh Patel, aktualisiert more than 1 year ago
Nilesh Patel
Erstellt von Nilesh Patel vor mehr als 6 Jahre
5
0

Zusammenfassung der Ressource

Seite 1

Word Count:   Example 1 (RDD) val txtfile=sc.textFile("C:/Users/Redirection/pateln7/Downloads/SPARK/wordcount.txt") val txtflatmap= txtfile.flatMap(x=>x.split(" ")) txtflatmap.first val txtmap=txtflatmap.map(x=>(x,1)) txtmap.first val output=txtmap.reduceByKey(_+_) output.foreach(println)   Single line : val output = txtfile.flatMap(x=>x.split(" ")).map(x=>(x,1)).reduceByKey(_+_) output.foreach(println)     Example 2  (RDD) val txtfile=sc.textFile("C:/Users/Redirection/pateln7/Downloads/SPARK/wordcount.txt") val txtflatmap= txtfile.flatMap(x=>x.split(" ")) txtflatmap.first val txtmap=txtflatmap.map(x=>(x,1)) txtmap.first val output = txtmap.reduceByKey((x,txtmap)=>(x+txtmap)).foreach(println)   Example 3 (for Array[(string ,Int) ] type data  val str = "Hell saying hello is good, keep say hello"  val x =str.split(" ").map(x=> (x, 1))  val q = sc.parallelize(x)  q.reduceByKey(_+_).foreach(println)

Zusammenfassung anzeigen Zusammenfassung ausblenden

ähnlicher Inhalt

Filter and Map
Nilesh Patel
Joins
Nilesh Patel
Setup spark scala in windows
Nilesh Patel
Fragen die jeder Fünftklässler beantworten kann.
JohannesK
Die Physiker, Friedrich Dürrenmatt 1962 (Neufassung 1980)
p.lunk
GPSY ALPS
jennifertittmann
Φαρμακολογια 1 Ε
Lampros Dimakopoulos
Vetie - MiBi 2013
Fioras Hu
Basiswissen Management Sozialer Dienstleistungen - Dienstleistungscharakteristika_13.11
Rabia Erdogan
Vetie - Fleisch- und Geflügelfleischhygiene 2017
Birte Schulz