开发自定义数据存储
这个例子展示了如何为基于文件的数据实现自定义数据存储。仅在编写自定义数据存储接口时使用此框架。否则,对于标准文件格式,如图像或电子表格,使用MATLAB中的现有数据存储®.有关更多信息,请参见从数据存储开始.
概述
要构建自定义数据存储接口,请使用自定义数据存储类和对象。然后,使用自定义数据存储将数据导入MATLAB并利用MATLAB大数据功能,例如高
、MapReduce和Hadoop®.
设计自定义数据存储涉及从一个或多个抽象类继承并实现所需的方法。您需要的特定类和方法取决于您的处理需求。
处理需求 |
类 |
---|---|
MATLAB中串行处理的数据存储 |
看到的,实现串行处理的数据存储 |
支持并行计算工具箱™和的数据存万博1manbetx储MATLAB分布式计算服务器 |
|
支持Hadoop的数据存储万博1manbetx |
|
首先实现串行处理的数据存储,然后添加对并行处理和Hadoop的支持。万博1manbetx
实现串行处理的数据存储
来实现一个名为MyDatastore
,创建一个脚本MyDatastore.m
.脚本必须在MATLAB路径上,并且应该包含从适当的类继承并定义所需方法的代码。在MATLAB中为串行处理创建数据存储的代码必须:
从基类继承
matlab.io.Datastore
.定义这些方法:
hasdata
,读
,重置
,进步
.根据数据处理和分析需求定义其他属性和方法。
对于示例实现,请遵循以下步骤。
步骤 | 实现 |
---|---|
从基类继承 |
classdefMyDatastore < matlab.io.Datastore属性(Access = private) CurrentFileIndex double FileSet结束 |
添加此属性可在一台机器上创建一个数据存储,该数据存储可在可能具有不同文件系统或操作系统的另一台机器或集群上无缝工作。 在方法部分添加获取和设置此属性的方法。 |
属性来支持的保存、加载和处理万博1manbetx%的数据存储在不同的文件系统机器或集群上。此外,定义方法get.AlternateFileSystemRoots()%,并在方法部分设置. alternatefilesystemroots()。(依赖)AlternateFileSystemRoots属性结束 |
实现功能 |
方法%开始方法节函数myds = MyDatastore(location,altRoots)FileSet = matlab.io.datastore.DsFileSet(location,...“FileExtensions”,“。斌”,...“FileSplitSize”8 * 1024);myds。CurrentFileIndex = 1;如果Nargin == 2 myds。AlternateFileSystemRoots = altRoots;结束重置(myds);结束 |
实现 |
函数Tf = hasdata(myds)%如果有更多数据,返回true。tf = hasfile(myds.FileSet);结束 |
实现 此方法使用 |
函数[data,info] = read(myds)读取数据和关于提取数据的信息。如果~ hasdata (myds)错误(sprintf ([“没有更多的数据要读了。\nUse reset ',...方法将数据存储重置为'的开头。,...的数据。在调用read方法之前,',...'检查数据是否可用',...'使用hasdata方法。')))结束fileInfoTbl = nextfile(myds.FileSet);data = MyFileReader(fileInfoTbl);信息。Size = Size(数据);信息。文件名= fileInfoTbl.FileName;信息。Offset = fileInfoTbl.Offset;%更新CurrentFileIndex以跟踪进度如果fileInfoTbl。偏移+ fileInfoTbl。SplitSize > =...fileInfoTbl。文件大小myds。CurrentFileIndex = myds。CurrentFileIndex + 1;结束结束 |
实现 |
函数重置(myds)重置到数据的开始。重置(myds.FileSet);myds。CurrentFileIndex = 1;结束 |
属性的获取和设置方法 目录中的数据存储必须重置 |
在定义这些方法之前,添加alternatefilesystemroot属性部分中的%属性AlternateFileSystemRoots属性的Getter函数altRoots = get.AlternateFileSystemRoots(myds) altRoots = myds. fileset . alternatefilesystemroots;结束%设置AlternateFileSystemRoots属性函数set.AlternateFileSystemRoots (myds altRoots)试一试DsFileSet对象管理alternatefilesystemroot%为您的数据存储myds.FileSet.AlternateFileSystemRoots = altRoots;重置数据存储重置(myds);抓我把(我);结束结束 |
实现 |
函数压裂=进度(myds)确定从数据存储中读取的数据的百分比如果hasdata(myds) frac = (myds. currentfileindex -1)/...myds.FileSet.NumFiles;其他的Frac = 1;结束结束结束% end方法节 |
实现 |
方法(Access = protected)如果使用DsFileSet对象作为属性,则您必须定义copyElement方法。的copyElement方法允许读取和预览等方法%无国籍函数dscopy = copyElement(ds) dscopy = copyElement@matlab.mixin.Copyable(ds);dscopy。FileSet = copy(ds.FileSet);结束结束 |
结束 |
结束
|
创建功能读取您的专有文件格式
实施读
方法使用的函数称为MyFileReader
.必须创建此函数来读取自定义或专有数据。使用以下命令构建此函数DsFileReader
对象及其方法。例如,创建一个读取二进制文件的函数。
函数data = MyFileReader(fileInfoTbl)%使用FileName创建一个读取器对象reader = matlab.io.datastore.DsFileReader(fileInfoTbl.FileName);寻求抵消寻求(读者,fileInfoTbl。抵消,“起源”,“start-of-file”);%读取fileInfoTbl。SplitSize数据量data = read(reader,fileInfoTbl.SplitSize);结束
增加对并万博1manbetx行处理的支持
使用“并行计算万博1manbetx工具箱”和添加对并行处理的支持MATLAB分布式计算服务器,更新您的实现代码MyDatastore.m
:
定义两个额外的方法:
maxpartitions
而且分区
.
对于示例实现,请遵循以下步骤。
步骤 | 实现 |
---|---|
更新 |
classdefMyDatastore < matlab.io.Datastore &...datastore.可分区… |
添加定义 |
方法……函数Subds = partition(myds,n,ii);再分。FileSet = partition(myds.FileSet,n,ii);重置(再分);结束结束 |
添加定义 |
方法(Access = protected)函数n = maxpartitions(myds. fileset);结束结束 |
结束 |
结束
|
增加对H万博1manbetxadoop的支持
要添加对Had万博1manbetxoop的支持,更新您的实现代码MyDatastore.m
:
定义三个额外的方法:
getLocation
,initializeDatastore
,isfullfile
.
对于示例实现,请遵循以下步骤。
步骤 | 实现 |
---|---|
更新 |
classdefMyDatastore < matlab.io.Datastore &...基于matlab.io.datastore. hadoopfile… |
添加定义 |
方法……函数initializeDatastore (myds hadoopInfo)导入matlab.io.datastore.DsFileSet;myds。FileSet = DsFileSet(hadoopInfo,...“FileSplitSize”, myds.FileSet.FileSplitSize);重置(myds);结束函数loc = getLocation(myds);结束函数tf = isfullfile(myds) tf = isequal(myds. fileset . filesplitsize,“文件”);结束结束 |
结束 |
结束
|
验证自定义数据存储
按照本文给出的说明执行之后,自定义数据存储的实现步骤就完成了。在使用此自定义数据存储之前,请使用中给出的准则对其进行限定自定义数据存储测试指南.
另请参阅
matlab.io.Datastore
|matlab.io.datastore.DsFileReader
|matlab.io.datastore.DsFileSet
|matlab.io.datastore.HadoopFileBased
|matlab.io.datastore.Partitionable
相关的话题
- 开发类——典型的工作流程
- 创建和共享工具箱
- 为类创建帮助
- 开发自定义小批量数据存储(神经网络工具箱)