아마존은 이번에 공격적으로 AWS Summit 을 서울 코엑스에서 열었는데 그 규모가 작지 않았다. 한국의 클라우드 시장규모가 어느정도인지 알 수 없지만 작지 않으니 대대적으로 사람을 뽑고 이런 컨퍼런스도 개최할 수 있는 것이겠지.
aws가 없었을때, 접속자수에 상관없이 돌릴 수 있는 서버(웹서버든 게임서버든..)를 만드는 것을 상상해 보면, aws의 가치는 엄청나다. 경험이 있는 한사람이 몇 시간만 시간 투자를 하면 제대로 scalable 한 서버를 만들 수 있는 시대니까.. 볼륨이 커지면 비효율적일수도 있지만(페북이나, 트위터 처럼.) 시작하는 서비스에는 최상의 툴임에는 의심할 여지가 없다.
그렇게 AWS의 위상을 느끼며 문뜩 AWS능가할 클라우드 플랫폼이 나올수 있을까? 란 생각을 해봤다. 부정적이다. 그정도의 스케일로 경험을 쌓고 있는 기업은 아직 없으니까.. 구글도 이정도의 고객 베이스를 가지고 있진 못할 것이라 예상한다.
-----------------------------------------------------------------------------
세션은 크게 3가지.
- aws 의 새로운 서비스 소개
- 소개및 활용사례
- 한국 시장에 맞게 게임에서의 AWS 사용 사례
그렇게 알차고 실용적인 세션은 많지 않았던 듯. 이제 불과 몇년 후면 알찬 컨퍼런스들이 많이 열릴것이라고 기대해도 좋을것 같다.
Kinesis
- Streaming data 를 캐쉬해주는 서비스로, 기존의 데이터 분석이 리얼타임이 아니었던 반면.. 이것을 사용하면 리얼타임 분석을 할 수 있다.
- 내부적으로 Shard라는 throughput unit이 있고 동시에 받아야할 데이터가 많다면 이 Shard를 늘리면 된다.
- AWS가 제공하는 SDK로 Kinesis App을 만들면 모여진 스트리밍 데이터를 처리로직을 만들 수 있다.
- 동일한 데이터를 App1, App2, App3 가 각각 패러럴하게 처리할 수 있다.
Lambda
특정 이벤트에 반응해 수행해야 하는 동작이 있을때 사용할 수 있는 서비스. 기존에는 이런것을 위해서 서버한대를 띄워서 해야 했던 일들을 이 서비스를 이용하면 단순화 할수 있음. 예를 들어 S3에 이미지가 올라오면 thumbnail을 만들어야 한다는 usecase가 있다면 람다는 최적의 선택이지 않을까..
EFS
EC2를 위한 파일시스템으로 기존에 있었던 EBS 대체용. EBS는 fixed-size의 스토리지를 제공해서 한계가 있었는데 빠르게 기존 EBS를 대체해 나갈듯. 비용은 GB/month로 계산됨.
AWS 비용 최적화 팁
- RI(Reserved Instance) 사용. 최소 트래픽을 RI로 돌리고 나머지는 on-demand로 돌리기
- 같은 instance type간에는 merge/split 가능. 예> 2 m3.medium = m3.large
- AWS Trusted Advisor 사용. 최적화 힌트를 제공
- spot instance 사용. 1/10 가격. 도중에 expire될 수도 있으니 분석업무에 적용 가능
- S3 class, redundancy rate을 낮추면 가격(20%)이 낮아짐. Glacier(60%)도 고려
- DynamoDB, capacity unit(CU) 최적화-> dynamic Dynamo(CU를 adaptive 하게 변경)
- cache, CDN,
- cost monitoring and analysis. 항상 모니터 하고 분석해야 하는 잡이라고 강조.
Intel - 에디슨 보드
인텔? 클라우드? 란 물음이 있었는데
인텔이 아마존과 전략적 제휴를 맺은것은 관련 보드를 보급하기 위해서다. 이름은 에디슨. IoT 시대가 되면서 Things는 기하급수적으로 늘어날텐데 그런 하드웨어 플랫폼을 보급하기 위한 제휴다. 이미 사용제품은 나와 있고 이미 AWS Kinesis 기반으로 HackDay를 진행한 것 같다. 관련 데모도 보여줬는데 보드에 가속도 센서를 매달고 그 데이터를 AWS Kinesis로 보내고 갑작스럽 가속도가 발견되면 이것으로 지진이 발생했음을 감지 하고 사용자의 폰으로 Push 로 Alert을 보내주는 데모였다.
김기사 - AWS Hybrid
요즘 핫하다는 김기사 얘기가 나와서 들었는데... 실망.
김기사는 HostWay(회사이름임)에 managed hosting을 받고 있었고 명절이나 연휴때 갑자기 늘어나는 트래픽에 대응하기 위해 기존의 IDC + AWS방식의 Hybrid cloud를 구축했다는 얘기만 하고 How는 없었다. 전형적인 광고 세션.
쿠키런-daily report 및 log index화
개인적으로 가장 유용했던 세션. 발표자료는 여기에
- logstash에서 쌓인 로그를 20분단위로 S3로 덤프. -> 날짜별로 머지하여 index.json과 gamelog.gz을 만듬.
- index.json은 index파일. 각 사용자 액션별로 gamelog.sz에서의 offset을 가지고 있음
- S3는 offset-range를 지원하여 필요한 부분만 가져오는 것도 가능
- block단위로 Snappy압축을 사용. 네트웍 레이턴시는 줄이고 cpu사용량도 줄이고
- 쿼리는 Scalding 사용. scala로 MR을 할 수 있는 라이브러리.
- boto를 사용하여 Job run시킴. boto는 AWS API wrapping하고 있는 python lib
- 이 잡을 이용해 daily report화 해서 경영진에게 메일로 전송.
