TeRiTeRi

  1. 首页
  2. 大数据
  3. Spark
  4. 正文

Spark Structured Streaming: output Mode 输出模式(append,update,complete)

2020年4月23日 1526点热度 0人点赞 0条评论
  • complete,把所有的DataFrame的内容输出,这种模式只能在做agg聚合操作的时候使用,比如ds.group.count,之后可以使用它
  • append,普通的dataframe在做完map或者filter之后可以使用。这种模式会把新的batch的数据输出出来,
  • update,把此次新增的数据输出,并更新整个dataframe。有点类似之前的streaming的state处理。
标签: Spark
最后更新:2020年4月23日

kamisamak

这个人很懒,什么都没留下

点赞
< 上一篇
下一篇 >

文章评论

razz evil exclaim smile redface biggrin eek confused idea lol mad twisted rolleyes wink cool arrow neutral cry mrgreen drooling persevering
取消回复

COPYRIGHT © 2023 TeRiTeRi. ALL RIGHTS RESERVED.

Theme Kratos Made By Seaton Jiang