TeRiTeRi
首页
大数据
Spark
正文
Spark Structured Streaming: output Mode 输出模式(append,update,complete)
2020年4月23日
1440点热度
0人点赞
0条评论
complete,把所有的DataFrame的内容输出,这种模式只能在做agg聚合操作的时候使用,比如ds.group.count,之后可以使用它
append,普通的dataframe在做完map或者filter之后可以使用。这种模式会把新的batch的数据输出出来,
update,把此次新增的数据输出,并更新整个dataframe。有点类似之前的streaming的state处理。
kamisamak
这个人很懒,什么都没留下
点赞
< 上一篇
下一篇 >
文章评论
取消回复
Δ
文章评论