빅데이터 및 클라우드 연계

IoT에서 수집하는 데이터는 실시간 데이터가 대부분이기 때문에 사물은 24시간동안 계속적으로 데이터를 수집하여 전송한다. 

 

디바이스 또한 점점 소형화되고 비용이 저렵해지며, 거의 모든 사업에서 사물이 수집한 데이터를 활용하기 위해 빅 데이터 기술을 접목하고 있다. 

출처: http://www.tkt.cs.tut.fi/research/waps/

데이터를 디지털화하여 정제, 분석한 후 디지털 세상에 저장하고, 분석된 결과를 실제 세상에 다시 제공하는 형식이다.

이때 실제 세상과 디지털 트윈을 연결해주기 위해 클라우드가 필요하다. 

 

데이터의 양이 시간이 갈수록 기하급수적으로 늘어나기 때문에 데이터 센서를 구축해도 감당하기 힘든 경우가 발생할 수 있다. 따라서 센서에서 데이터를 효율적으로 분석하는 것뿐만 아니라 효율적으로 데이터 전송 및 저장하는 방법도 중요한 요소이다. 

 

 

IoT를 통한 실시간 빅 데이터 분석의 필요성 증대

 

수집하는 데이터의 양이 증가함에 따라 수집된 데이터를 저장하는데 드는 시간·공간 비용도 증가하고 있다. 

이로 인하여 실시간 빅 데이터 분석의 필요성이 커지고 있다. -> 데이터가 생성되는 시점에 분석을 해야함

(데이터를 쌓아 놓을 경우 활용이 어렵기 때문에)

 

그래서 나온 클라우드 컴퓨팅보다 더 확대된 역활인 '포그 컴퓨팅'이 제시되었다.

 

포그 컴퓨팅은 센서나 디바이스에서 생성된 데이터를 실시간으로 처리할 수 있는 노드를 기지국처럼 두고 컴퓨팅 파워가 필요한 데이터만 클라우드로 넘겨서 처리하는 방식이다 .

간단한 데이터 분석을 포그 노드에서 해결하기 때문에 데이터 분석에 필요한 비용과 시간을 절약할 수 있다. 

또한 분석이 완료된 데이터를 네트워크에 전송해주므로 빅 데이터 저장 공간도 줄일 수 있다.

 

 

IoT를 통한 실시간 데이터 처리

 

고성능 압축 비트맵 인덱스(HPCI) 기술을 사용하는 파스트림은 하둡 기반이 아닌 관계형 데이터베이스 기술을 적용한다. 

반면 데이터스트림즈는 빅데이터 실시간 분석을 위한 메모리 기반 플랫폼으로 BASS를 제시하고 있다. 

이것은 데이터를 실시간으로 수집하여 실시간 인덱싱을 수행한 후 데이터를 메모리에 분산 저장하는 방식이다.

 

이 내용은 다음에 더 집중적으로 다뤄보자.