Class: MapReduce

@nginstack/mapreduce/lib/MapReduce~ MapReduce


new MapReduce(jobConf)

Controla a execução do MapReduce, criando e atribuindo subtarefas e observando os nós.

Parameters:
Name Type Description
jobConf JobConf

Tarefa de mapreduce que deverá ser executada.

Members


id :number

Índice de identificação do controller.

Type:
  • number

result :Object

Resultado da execução do MapReduce.

Type:
  • Object

Methods


<static> execute(map, reduce, split)

Executa a função map para cada dado contido em split e reduz os resultados emitidos.

Parameters:
Name Type Description
map function

Função de transformação dos dados contidos em split.

reduce function

Função que reduz os valores emitidos pela função map para uma determinada key.

split Array.<Array>

Bloco de dados que será processado.


<static> getExecutorOutputFileName(jobId)

Gera um nome do arquivo de saída para o executor.

Parameters:
Name Type Description
jobId string

Id do module:@nginstack/mapreduce/lib/Job ligado ao executor.

Returns:

Nome do arquivo de saída.

Type
string

<static> getOutputFileName(id)

Monta o nome do arquivo de output de um MapReduce.

Parameters:
Name Type Description
id string

Identificação deste job.

Returns:

Nome do arquivo.

Type
string

<static> getStatus(mapReduceId)

Retorna o estado da operação de MapReduce.

Parameters:
Name Type Description
mapReduceId number

Id do module:@nginstack/mapreduce/lib/MapReduce.

Returns:
Type
Object

<static> runReduce_(mappedEntry, reduce)

Executa a redução em cima do resultado do mapeamento.

Parameters:
Name Type Description
mappedEntry Record.<string, *>

Dado já mapeado.

reduce function

Função de redução.

Returns:

Dado reduzido.

Type
Record.<string, *>

run()

Executa a tarefa.

Returns:

Resultado da execução.

Type
Object

saveOutput_(result, status, enginesRunning, completed, total)

Salva os dados do controlador em um arquivo.

Parameters:
Name Type Description
result Object

Resultado final ou parcial.

status string

Status atual do trabalho de MapReduce.

enginesRunning number

Quantos engines estão trabalhando.

completed number

Quantos splits foram concluídos.

total number

Quantos splits existem ao total.