web-dev-qa-db-fra.com

Tapez incompatibilité dans la clé de la carte: org.Apache.hadoop.io.Text attendu, reçu org.Apache.hadoop.io.LongWritable

J'essaie de lancer une carte/réducteur en Java. Ci-dessous sont mes fichiers

WordCount.Java

package counter;


public class WordCount extends Configured implements Tool {

public int run(String[] arg0) throws Exception {
    Configuration conf = new Configuration();

    Job job = new Job(conf, "wordcount");

    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);

    job.setMapperClass(WordCountMapper.class);
    job.setReducerClass(WordCountReducer.class);

    job.setInputFormatClass(TextInputFormat.class);
    job.setOutputFormatClass(TextOutputFormat.class);

    FileInputFormat.addInputPath(job, new Path("counterinput"));
    // Erase previous run output (if any)
    FileSystem.get(conf).delete(new Path("counteroutput"), true);
    FileOutputFormat.setOutputPath(job, new Path("counteroutput"));

    job.waitForCompletion(true);
    return 0;
}   

public static void main(String[] args) throws Exception {
    int res = ToolRunner.run(new Configuration(), new WordCount(), args);
    System.exit(res);

    }
}

WordCountMapper.Java

public class WordCountMapper extends
Mapper<LongWritable, Text, Text, IntWritable> {
    private final static IntWritable one = new IntWritable(1);
    private Text Word = new Text();

    public void map(LongWritable key, Text value, OutputCollector<Text,IntWritable> output, Reporter reporter)
    throws IOException, InterruptedException {
        System.out.println("hi");
    String line = value.toString();
    StringTokenizer tokenizer = new StringTokenizer(line);
    while (tokenizer.hasMoreTokens()) {
        Word.set(tokenizer.nextToken());
        output.collect(Word, one);
        }
    }
}

WordCountReducer.Java

public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
    public void reduce(Text key, Iterator<IntWritable> values,
        OutputCollector<Text,IntWritable> output, Reporter reporter) throws IOException, InterruptedException {
        System.out.println("hello");
        int sum = 0;
        while (values.hasNext()) {
            sum += values.next().get();
        }
        output.collect(key, new IntWritable(sum));
    }
}

Je reçois l'erreur suivante

13/06/23 23:13:25 INFO jvm.JvmMetrics: Initializing JVM Metrics with  
processName=JobTracker, sessionId=

13/06/23 23:13:25 WARN mapred.JobClient: Use GenericOptionsParser for parsing the 
arguments. Applications should implement Tool for the same.
13/06/23 23:13:26 INFO input.FileInputFormat: Total input paths to process : 1
13/06/23 23:13:26 INFO mapred.JobClient: Running job: job_local_0001
13/06/23 23:13:26 INFO input.FileInputFormat: Total input paths to process : 1
13/06/23 23:13:26 INFO mapred.MapTask: io.sort.mb = 100
13/06/23 23:13:26 INFO mapred.MapTask: data buffer = 79691776/99614720
13/06/23 23:13:26 INFO mapred.MapTask: record buffer = 262144/327680
13/06/23 23:13:26 WARN mapred.LocalJobRunner: job_local_0001
Java.io.IOException: Type mismatch in key from map: expected org.Apache.hadoop.io.Text, 
recieved org.Apache.hadoop.io.LongWritable
at org.Apache.hadoop.mapred.MapTask$MapOutputBuffer.collect(MapTask.Java:845)
at org.Apache.hadoop.mapred.MapTask$NewOutputCollector.write(MapTask.Java:541)
at org.
Apache.hadoop.mapreduce.TaskInputOutputContext.write(TaskInputOutputContext.Java:80)
at org.Apache.hadoop.mapreduce.Mapper.map(Mapper.Java:124)
at org.Apache.hadoop.mapreduce.Mapper.run(Mapper.Java:144)
at org.Apache.hadoop.mapred.MapTask.runNewMapper(MapTask.Java:621)
at org.Apache.hadoop.mapred.MapTask.run(MapTask.Java:305)
at org.Apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.Java:177)
13/06/23 23:13:27 INFO mapred.JobClient:  map 0% reduce 0%
13/06/23 23:13:27 INFO mapred.JobClient: Job complete: job_local_0001
13/06/23 23:13:27 INFO mapred.JobClient: Counters: 0

Je pense qu'il n'est pas capable de trouver la classe de mappeur et de réducteur. J'ai écrit le code dans la classe principale, Il obtient les classes par défaut de mappeur et de réducteur.

hadoopmapreduce
19
Neil

Ajoutez ces 2 lignes dans votre code:

job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);

Vous utilisez TextOutputFormat qui émet par défaut la clé LongWritable et la valeur Text, mais vous émettez le texte Text en tant que clé et IntWritable en tant que valeur. Vous devez dire ceci à la célébrité.

HTH

39
Tariq

Ce n'est peut-être pas votre problème, mais j'ai eu ce problème stupide une fois. Assurez-vous de ne pas mélanger l’ancienne et la nouvelle bibliothèque c’est-à-dire mapred vs mapreduce. Annotez @Overide sur votre carte et réduisez les méthodes. Si vous voyez des erreurs, vous ne remplacez pas correctement les méthodes.

6
Jerry Ragland

J'ai eu une trace de pile d'exception similaire en raison d'une mauvaise classe de mappeur définie dans mon code (faute de frappe :))

job.setMapperClass(Mapper.class)  // Set to org.Apache.hadoop.mapreduce.Mapper due to type

Notez que, par erreur, j’utilisais la classe Mapper du paquet mapreduce, je l’ai remplacée par ma classe de mappeur personnalisée:

job.setMapperClass(LogProcMapperClass.class) // LogProcMapperClass is my custom mapper.

L'exception est résolue après avoir corrigé la classe de mappeur.

4
Suresh Vadali

Supprimer ce code du problème a résolu le problème

super.map(key, value, context);
0
Ketan Keshri