Big Data 시대의 도래 Hadoop 에 주목하자

시스템은 운영시간이 길어지면 길수록 데이터는 늘어난다.

그 데이터가 어디까지 커질지는 알수가 없다.

대용량 파일에 대한 관리 문제를 구글에서 먼저 접근하여 2004년 논문을 발표하였다.

이에 오픈소스 진영에서 아파치에서 HDFS(Hadoop Distributed File System)을 내놓았다.

적은 서버 모델을 여러대 운영하여 대형파일을 운영할 수 있도록 해주는 모델이다.


파일을 64M 단위로 나누어 장비에 분산저장하는 방식으로 사용자는 하나의 파일로 보이나 실제는 나누어 저장되어 있다.

페이스북, 야후, 아이비엠등에서 사용하고 있다.

대용량 파일에서 좋은 대안이 아닐 수 없다

댓글

댓글 쓰기

이 블로그의 인기 게시물

한글 2010 에서 Ctrl + F10 누르면 특수문자 안뜰 때

이미지
한글 2010 에서 Ctrl + F10 누르면 특수문자 안뜰 때가 있다. 이런 경우가 있나...... 헐 처음엔 운영체제의 키보드 설정이 잘못 되었나 하며 삽질이 시작되었다. 결론은 한글 2010 설정이었다. 프로그램 테마 설정이 있는데 그부분이 MS 스타일로 되어 있었던 것이다. 이것은 한글로 변경하면 된다. 먼저 도구-사용자설정으로 간다. 사용자 설정의 일반탭에서 프로그램 테마가 MS로 되어 있어서 단축키가 안먹은 것이다. 여기서 한글로 변경하면 된다. 한글 2007로 변경하였더니 이렇게 변했다. 단축키는 먹는다. 개인적으로 이전에 간단한 메뉴가 좋아서 설정을 하고 난 다음 테마명을 정해서 저장했다. 사실 알고보면 간단한 내용이지만 모를땐 답답한 기능이 많다. 근데 왜 새로 설치했는데 이게 설정 되었는지 모르겠다. 항상 모든 답은 기본에 있다.
자세한 내용 보기

아이폰에서 RFID 사용하는 방법

아이폰에서 NFC 나 RFID 를 사용하는 방법을 조사한 내용입니다. 아이폰은 NFC 가 안된다... 이런 말을 많이 듣습니다. 조사한 결과로는 iOS 11 이 설치된 iPhone 7 이상의 폰에서 가능합니다. NFC 와 RFID 의 차이는 무엇일까? NFC는 RFID 취약점을 보완한 물건이라고 생각하면 좋습니다. 보통 RFID는 태그의 고유값을 읽어 들여 이를 서버에서 처리하는 내용입니다. 바코드를 대체하기 위해 만들어서 사용했기 때문입니다. 하지만 이를 교통카드 처럼 결제에 이용되다 보니 RFID-ID(보통 anti collision identification 이라고 부릅니다.)는 리더만 있으면 쉽게 수집하여 복사할 수 있습니다. 쉽게 말해 보안에 취약합니다. 결제에 사용하기 위해 고유값 보다 변동되는 값을 사용하고 암호화를 사용할 수 있는 쓰기 가능한 영역이 필요해서 추가된 내용이 NFC로 보면 되겠습니다. 청출어람이 이런 곳에 쓰이면 딱 맞는 표현일까요? 저도 이런 생각을 했습니다. 그럼 결제에 사용하는게 아니라 인식만 하기 위해서 아이폰을 활용하면 어떨까? 아이폰 7 이하에서는 "애플페이 결제할 때 RFID-ID가 발급되니까" 이를 인식하면 되지 않을까? 아래 링크에 자세한 설명이 되어 있긴 합니다만 "결론은 안된다!!"입니다. https://www.raptrack.com/article/blog/core-nfc-2/ anti collision identification 발급이 랜덤하게 매번 다르게 생성이 됩니다. 이는 읽을 수만 있는 형식으로 제공됩니다. 물론 이런 방식으로 제공해야 보안에 우수합니다. 이제 iOS 11 이상이 설치된 iPhone 7 이상에서 NFC를 사용하는 방법입니다. core NFC 프레임워크에서 제공하는 델리게이트를 사용하면 가능합니다. NDEF 메시지를 읽어서 개발자가 태그를 인코딩하면 가능합니다. 보통 카드번호 같은 형식을 만들어서 인코딩합니...
자세한 내용 보기

맥 화면이 안나올때 조치방법

맥북 에어를 사용하고 있다. 가끔 자료를 다운 받을 때 모니터 밝기를 최소화 하고 잠을 자는 경우가 있다. 바로 어제가 그런 경우였다. 잠에서 깬 후 자연스레 맥북으로 다가 갔으나 이게 웬일인가? 맥북은 아무런 응답을 하지 않고 있다. 전원 버튼을 눌려도 부팅 되는 소리만 '딩~~'하고 울릴 뿐이었다. 모니터 밝기는 아무리 눌려도 소식이 없었다. 이런 경우는 맥북을 재부팅을 한다. 전원 버튼을 오래 누르고 있으면 된다. 그러면 딩하고 부팅음이 난다. 이때 Command + Option + P + R 키를 누른다. 이 키를 계속 누르고 있어야 한다. 딩 하는 시동음이 3번이 들리면 키를 일제히 놓아야 한다. 명심해야 한다 시동음이 3번 울리면 키를 놓는다. 이런 방식은 PRAM을 리셋하는 방법이다.
자세한 내용 보기