数据工程-文件上传
通过系统统一界面的文件上传步骤,实现excel、csv格式文件的(批量)上传及HDFS导入。
步骤配置
通过界面点击【数据采集-文件上传】,可通过界面操作上传文件至HDFS目录。点击文件上传步骤,可对该步骤进行编辑。
过程编写
文件上传配置
进行配置excel/csv上传格式文件及存储路径等信息
信息项 | 内容 | 备注 |
---|---|---|
HDFS目标目录选择 | 机构项目的默认根目录为:/org/<机构名>/;个人项目的默认根目录为:/user/<当前登陆用户名>/。输入“/”可查看并选择子目录 | |
是否覆盖HDFS目录同名文件 | 根据实际需要进行勾选,勾选后可对HDFS目录下同名文件进行覆盖 |
文件上传历史管理
管理(历史)上传文件,支持批量文件(单个文件大小不超过100MB)上传。
点击选取文件进行(批量)文件选择,点击上传进行文件上传。文件上传后可对文件列表进行管理,包括:文件重新上传或删除该列表文件。
注:文件列表的删除,不会影响该文件在HDFS中的存储
运行记录
用户可通过界面,查看步骤的历史运行记录详情
留言
评论
${{item['author_name']}} 回复 ${{idToContentMap[item.parent] !== undefined ? idToContentMap[item.parent]['author_name'] : ''}}说 · ${{item.date.slice(0, 10)}} 回复
暂时还没有一条评论.