到2025年，互联网连接设备的数量预计会翻三番。相应地，物联网也将加入重要的大数据源。这使得数据从业者将注意力转向物联网大数据。

物联网大数据的性质

物联网大数据与其他大数据类型明显不同。为了形成清晰的图像，设想一个连续生成数据的传感器网络。例如，在制造过程中，它可以是特定机械部件的温度值，以及振动，润滑，湿度，压力等等。因此，物联网大数据是由机器生成的，而不是由人类创建的。它主要表示数字的流动，而不是文本的块。
现在，设想每个传感器每秒产生5次测量，总体而言，您已安装了1,000个传感器。而这种高容量的数据不断流动（顺便说一句，这些数据有一个特殊的名称 - 流数据）。当然，纯数据收集不是您的最终目标 - 您需要宝贵的见解，其中一些尽可能接近实时。如果压力开始突然下降到临界水平，只有在几个小时内你才会很高兴知道这一点。那时，你的维护团队可能已经试图修理一台破碎的机器。
此外，IoT数据是位置和时间特定的。虽然示例可能很多，但在这里我们只提及一对：位置数据对于了解哪些传感器传达可能表示即将到来的故障的读数至关重要，而时间戳对于识别可能的特定模式造成机器故障。例如，每十秒钟温度值就会增加5°F，但不会超过一个阈值，这会导致压力增加1,000 Pa一分钟。
物联网大数据的存储，预处理和分析
当然，这是您的业务目标始终奠定了解决方案架构的基础。尽管如此，物联网大数据的性质在数据存储，预处理和分析上留下了痕迹。所以，让我们仔细看看每个过程的具体特点。

物联网大数据存储

由于您必须处理大量快速到达不同格式的结构化和非结构化数据，因此传统数据仓库无法满足您的需求 - 您需要一个数据湖和一个大型数据仓库。一种数据湖可以被分成几个区域，如一个着陆区（在其原始格式的原始数据），暂存区（对于基本清洁和滤波后的数据应用和用于从其他数据源的原始数据），以及作为分析沙箱（用于数据科学和探索活动）。需要一个大型数据仓库来从数据湖中提取数据，进行转换并以更有条理的方式进行存储。

物联网大数据预处理

决定是否要存储原始数据或已经预处理的数据很重要。实际上，正确回答这个问题是与物联网大数据相关的挑战之一。让我们回到我们的例子，每秒传递5个温度值的传感器。一种选择是存储全部5个读数，而另一个选项是只存储一个值，例如每个聚集周期为1秒的平均值/中值/模式。为了清楚地了解这种方法对所需存储容量所产生的差异，您应该将传感器的总数乘以预期的运行时间，然后再乘以其读数频率。 
如果您的计划的一部分获得了实时洞察，那么仍然可以实时发布警报，而不必将所有读数发送到数据存储。例如，您的系统可以提取整个数据流，并设置触发即时警报的临界阈值或偏差。但是，只有一些过滤或压缩的数据被发送到数据存储器。

避免数据丢失的方法

还有必要事先考虑一下，如果读数的流量由于某种原因而停止，比如说由于传感器暂时失效或者与网关连接中断，
这里有两种方法是可能的：

使用对数据遗漏可靠的稳健算法。

例如，使用冗余传感器，使用多个传感器来测量相同的参数。一方面，这增加了可靠性：如果一个传感器失效，其他人将继续发送他们的读数。另一方面，这种方法需要更复杂的分析，因为传感器可能会产生稍微不同的值，应该由分析算法处理。

物联网大数据分析

物联网大数据需要两种类型的分析：批量和流媒体。批量分析是所有大数据类型固有的，物联网大数据也不例外。它被广泛用于对捕获的数据进行复杂分析，以识别趋势，相关性，模式和依赖关系。批量分析涉及适用于历史数据的复杂算法和统计模型。
流式分析完全涵盖了物联网大数据的所有细节。它旨在处理在小时间间隔内生成的高速数据流，并提供接近实时的见解。对于不同的系统，这个“实时”参数会有所不同。在某些情况下，可以以毫秒为单位进行测量，而在其他情况下则可以在几分钟内进行测量。为了尽快获得见解，可以在系统边缘甚至数据流处理器中分析捕获的数据。