大数据----------二次排序

小编 2026-07-12 阅读:558 评论:0
学习笔记,如有错误,望大佬指点!多谢! 何为二次排序?本人理解,两个数字,同时排序,当第一列数字相等时,按照第二列数字排序!!! 原数据 代码如下: package TowPaixu; impor...

学习笔记,如有错误,望大佬指点!多谢!

何为二次排序?本人理解,两个数字,同时排序,当第一列数字相等时,按照第二列数字排序!!!

原数据

代码如下:
package TowPaixu;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

class Towpxmap extends Mapper<LongWritable, Text, Px, NullWritable> {
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String line=value.toString();
        String[] word=line.split(\"\\t\");
        String name=word[0];
        int yi=Integer.parseInt(word[1]);
        int er=Integer.parseInt(word[2]);
        context.write(new Px(name,yi,er),NullWritable.get());
    }
}
class Toupxreducer extends Reducer<Px, NullWritable,Text,NullWritable>{
    @Override
    protected void reduce(Px key, Iterable<NullWritable> values, Context context) throws IOException, InterruptedException {
        context.write(new Text(key.toString()),NullWritable.get());
    }
}
class Driver{
    public static void main(String[] args) throws Exception {
        Configuration conf=new Configuration();
        Job job=Job.getInstance(conf);

        job.setMapperClass(Towpxmap.class);
        job.setReducerClass(Toupxreducer.class);
        job.setJarByClass(Driver.class);

        job.setMapOutputKeyClass(Px.class);
        job.setMapOutputValueClass(NullWritable.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(NullWritable.class);

        FileInputFormat.setInputPaths(job,new Path(\"E:\\\\0102.txt\"));
        FileOutputFormat.setOutputPath(job,new Path(\"E:\\\\tmp\"));

        System.exit(job.waitForCompletion(true)?0:1);
    }
}
class Px implements WritableComparable<Px> {
    //数据类型以实际情况而定
    private String name;
    private int yi;
    private int er;
    public Px(){}
    public Px(String a,int b,int c){
        this.name=a;
        this.yi=b;
        this.er=c;
    }
    @Override
    public int compareTo(Px o) {
        if(this.yi==o.getYi()){
            return this.er>o.getEr()?-1:1;//-1为小于,0为等于,1为大于
        }
        else {
            return this.yi>o.getYi()?-1:1;
        }
    }

    @Override
    public void write(DataOutput dataOutput) throws IOException {
        dataOutput.writeUTF(name);
        dataOutput.writeInt(yi);
        dataOutput.writeInt(er);
    }

    @Override
    public void readFields(DataInput dataInput) throws IOException {
        this.name=dataInput.readUTF();
        this.yi=dataInput.readInt();
        this.er=dataInput.readInt();
    }
//右键生成getset
    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public int getYi() {
        return yi;
    }

    public void setYi(int yi) {
        this.yi = yi;
    }

    public int getEr() {
        return er;
    }

    public void setEr(int er) {
        this.er = er;
    }
//右键生成tostring
    @Override
    public String toString() {
        return \"名字:\"+name+\"\\t\"+\"价格:\"+yi+\"\\t\"+\"数量:\"+er;
    }
}

分析效果图:

\"\"

版权声明

本文仅代表作者观点,不代表百度立场。
本文系作者授权百度百家发表,未经许可,不得转载。

热门文章
  • Sequential Monte Carlo Methods (SMC) 序列蒙特卡洛/粒子滤波/Bootstrap Filtering

    Sequential Monte Carlo Methods (SMC) 序列蒙特卡洛/粒子滤波/Bootstrap Filtering
    Problem Statement 我们考虑一个具有马尔可夫性质、非线性、非高斯的状态空间模型(State Space Model):对于一个时间序列上的观测结果{yt,t∈N}\\{ y_t , t \\in N \\}{yt​,t∈N},我们认为每个观测结果yty_tyt​的生成依赖于一个无法直接观察的隐变量xt∈{xt,t∈N}x_t \\in \\{x_t , t \\in N \\}xt​∈{xt​,t∈N},即:p(...
  • 机房智能化温湿度解决方式之POE供电以太网温湿度传感器

    机房智能化温湿度解决方式之POE供电以太网温湿度传感器
    机房智能化温湿度解决方式之POE供电以太网温湿度传感器 北京盈创力和电子科技有限公司 智能型TCP网口温湿度记录仪 北京IP网络温湿度记录仪厂家,北京盈创力和 北京智能型TCP网口温湿度记录仪IP网络温湿度记录仪是一种新型的基于TCP/IP协议双绞线以太网标准温湿度采集模块,利用它可以实现现场温度值、相对湿度值的采集,同时利用其自身的RJ45通信接口可以方便地和机房监控主机或交换机集线器进行联网。 工作于-40℃~85℃工业级带...
  • Hive 系统函数及示例

    Hive 系统函数及示例
    查看所有系统函数 show functions; 函数分类 内置函数【系统函数】 数学函数: floor、round、ceil、cos、log2等 字符串函数: length、reverse、trim、lower、get_json_object、repeat等 收集函数: size 转换函数: cast 日期函数: year、month、datediff、date、date_add等 条件函数: coalesce、case…w...
  • CSRF的原理和防范措施

    CSRF的原理和防范措施
    a)攻击原理:i.用户C访问正常网站A时进行登录,浏览器保存A的cookieii.用户C再访问攻击网站B,网站B上有某个隐藏的链接或者图片标签会自动请求网站A的URL地址,例如表单提交,传指定的参数iii.而攻击网站B在访问网站A的时候,浏览器会自动带上网站A的cookieiv.所以网站A在接收到请求之后可判断当前用户是登录状态,所以...
  • HTTP状态保持的原理

    HTTP状态保持的原理
    a)在用户登录之后,浏览器返回响应的时候会在响应中添加上cookieb)浏览器接收到cookie之后会自动保存c)当用户再次请求同一服务器中的其他网页的时候,浏览器会自动带上之前保存的cookied)服务接收到请求之后可以请 request 对象中取到cookie 判断当前用户是否登录  Http是无状态的,就是连接时数据互通,关闭后...
标签列表