利用Java框架加速云计算中数据的处理（云计算和

import org.<a style=color:f60; text-decoration:underline; href="https://www.php.cn/zt/15972.html" target="_blank">apache</a>.spark.SparkConf;

zvvq.cn

import org.apache.spark.SparkContext;

import java.util.Arrays; zvvq

import java.util.List; zvvq好，好zvvq

public class SparkSort { zvvq好，好zvvq

public static void main(String[] args) {

SparkConf conf = new SparkConf().setAppName("SparkSort");

copyright zvvq

SparkContext sc = new SparkContext(conf); zvvq好，好zvvq

// 从 HDFS 加载数据

List<Integer> numbers = sc.textFile("/hdfs/numbers/part")

.flatMap(line -> Arrays.asList(line.split(",")))

.map(Integer::parseInt) zvvq

.collect();

// 在集群中对数据进行排序 zvvq.cn

List<Integer> sortedNumbers = numbers.stream()

本文来自zvvq

.sorted() zvvq

.toList(); zvvq.cn

// 将结果写入 HDFS 本文来自zvvq

sc.parallelize(sortedNumbers) 内容来自zvvq

.saveAsTextFile("/hdfs/sorted_numbers"); zvvq好，好zvvq

}

}

内容来自zvvq，别采集哟

import org.apache.flink.api.common.functions.MapFunction; zvvq

import org.apache.flink.api.java.DataSet; 内容来自zvvq，别采集哟

import org.apache.flink.api.java.ExecutionEnvironment; 内容来自samhan666

public class FlinkSort { 内容来自zvvq

public static void main(String[] args) throws Exception {

zvvq好，好zvvq

ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

内容来自samhan

// 从 HDFS 加载数据 zvvq

DataSet<Integer> numbers = env.readTextFile("/hdfs/numbers/part")

.map(new MapFunction<String, Integer>() {

@Override

public Integer map(String line) throws Exception { zvvq.cn

return Integer.parseInt(line);

} 内容来自samhan666

}); 内容来自samhan

// 在集群中对数据进行排序 zvvq.cn

DataSet<Integer> sortedNumbers = numbers.sort();

内容来自samhan666

// 将结果写入 HDFS

sortedNumbers.writeAsText("/hdfs/sorted_numbers"); 内容来自samhan

// 执行作业 内容来自zvvq

env.execute(); 内容来自zvvq

}

}

zvvq