文档

MapReduce

用于分析不适合内存的数据集的编程技术

mapreduce是一种编程技术,适用于分析大数据集,否则无法在您的计算机内存。使用一个数据存储为了处理小块数据,该技术由Map阶段和Reduce阶段组成,Map阶段格式化数据或执行预先计算,Reduce阶段聚合来自Map阶段的所有结果。有关更多信息,请参见MapReduce入门

有关使用其他产品的信息s manbetx 845mapreduce,请参阅使用其他产品加速和部署MapReduces manbetx 845

功能

全部展开

mapreduce 用于分析不适合内存的数据集的编程技术
数据存储 为大型数据集合创建数据存储
添加 添加单个键值对到KeyValueStore
addmulti 在KeyValueStore中添加多个键值对
hasnext 确定ValueIterator是否有一个或多个可用值
getnext 从ValueIterator中获取下一个值
mapreduce 定义mapreduce或tall数组的执行环境
gcmr 获取当前mapreducer配置

对象

KeyValueStore 存储用于mapreduce的键值对
ValueIterator 用于mapreduce的中间值的迭代器

主题

MapReduce入门

了解MapReduce编程技术并运行示例计算。

写地图

类中使用的映射函数mapreduce算法。

写一个Reduce函数

类中使用的reduce函数mapreduce算法。

用MapReduce构建有效的算法

的总结mapreduce示例文件。

使用其他产品加速和部署MapReduces manbetx 845

其他产品的能力加快和共享s manbetx 845mapreduce算法。

用MapReduce查找最大值

这个例子展示了如何使用函数在数据集中找到单个变量的最大值mapreduce

用MapReduce计算平均值

这个例子展示了如何计算数据集中单个变量的平均值mapreduce

使用MapReduce创建直方图

这个例子展示了如何在大型数据集中可视化模式,而不必同时将所有观察结果加载到内存中。

使用MapReduce计算组均值

这个例子展示了如何在一个数据集中使用分组计算平均值mapreduce

使用MapReduce进行简单的数据划分

这个例子展示了如何提取大型数据集的子集。

用MapReduce计算协方差及相关量

这个例子展示了如何在一个大的数据集中使用计算几个变量的平均值和协方差mapreduce

使用MapReduce计算分组汇总统计

这个示例展示了如何计算按组使用组织的汇总统计信息mapreduce

利用MapReduce拟合Logistic回归模型

这个例子展示了如何使用mapreduce使用单个预测器进行简单的逻辑回归。

高瘦QR (TSQR)矩阵分解MapReduce

这个例子展示了如何计算一个高瘦QR (TSQR)分解使用mapreduce

用MapReduce计算图像的最大平均HSV

这个例子展示了如何使用ImageDatastore而且mapreduce在图像集合中查找具有最大色相、饱和度和亮度值的图像。

故障排除

MapReduce算法调试

此示例显示如何调试您的mapreduceMATLAB算法®使用一个简单的示例文件,MaxMapReduceExample.m.调试使您能够跟踪数据在不同阶段之间的移动mapreduce执行并检查所有中间变量的状态。

这个话题有用吗?