在线解决Sparknotserializable问题
问题描述：
spark rdd foreach中使用不可序列化成员变量，分布式并行计算时报错 not serializable.
解决方法：
@transient lazy val wordModel = new WordVectorModel(NLPFormat.SIMILARITY_MODEL)
@transient lazy val docVectorModel = new DocVectorModel(wordModel)
相关文章
图文推荐
- 文章
- 推荐
- 热门新闻