大数据领域的六年巨变

来源: | 浏览量:27 次 | 发布时间:2019-02-12 23:04

在过去 6 年里,本文作者一直在关注 Data Eng Weekly(前身是 Hadoop Weekly),它是与大数据和数据工程相关内容重要来源,涵盖了非常广泛技术文章、产品公告和行业新闻。

今年,作者打算将分析 Data Eng 归档内容(这些归档可追溯到 2013 年 1 月)作为其个人项目,来析过去 6 年中大数据趋势和变化。

为此,作者抓取并清理了 290 多期内容(使用了 Python 爬虫),保留了与技术、新闻和发布公告相关文章片段。接下来,他对文章片段进行了一些基本自然语言处理并应用了一些基本过滤,最后生成关键字和下下列表。

过去七年主要趋势

作者绘制了特定关键词被提及次数月滚动平均值,并将它们绘制在同一个图表上。下面图表说明了这些技术大约在什么时间点变得越来越流行。

Hadoop 与 Spark

从 2013 年 Spark 开始接管 Hadoop 那一刻起,Hadoop 就开始稳步下滑。

Hadoop 与 Kafka

Kafka 成为所有大数据技术栈主要构建块。

Hadoop 与 Kubernetes

Kubernestes 崛起,尽管 Data Eng Weekly 并不十分关注 DevOps,但却也见证了从 2017 年开始围绕 Kubernetes 在各个领域全面炒作。

年度热门关键词

我只是简单地画出在给定年份中被提及次数最多 10 个关键词。

 2013 年:Hadoop 黄金时期!

所有原始 Hadoop 项目都在这里:HDFS、YARN、MR、PIG……以及两大主流发行版 CDH 和 HDP,除此之外别无其他!

 2014 年:Spark 崛起!

Hadoop 总体上延续了它统治地位,但 Spark 在这一年推出第一个版本成为 2014 年最热门话题!

 2015 年:Kafka 来了!

Spark 取代 Hadoop 一名位置,Kafka 进入前三。大多数旧项目(HDFS、YARN、MR、PIG……)都没有进入前十。

 2016 年:流式处理火热!

2016 年是流式处理年,Kafka 取代了 Hadoop 第二名位置,Spark(流式处理)继续占据主导地位。

 2017:一切向流式处理看齐!

与 2016 年阵容相同,只是加入了 Flink。

 2018 年:回到基础!

Kubernetes 首次亮相,我们回到了基础,试图找出如何管理(K8S)、调度(airflow)和运行(Spark、Kafka、存储……)我们流。

 2019 年:…

现在对 2019 年给出任何结论还为时过早,但看起来 K8s 将在 2019 年成为主流!

 英文原文:https://blog.marouni.fr/bidata-trends-analysis/ 作者 | Abbass Marouni 译者 | 无明 来自: InfoQ

本文永久链接:http://www.nrpub.com/f/directory/405763.shtml

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;
2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;
3.作者投稿可能会经我们编辑修改或补充。