Cloud PaaS BigDat...
Follow
Find
506 views | +0 today
Cloud PaaS BigData Hadoop CloudFoundry Java Ruby
Cloud PaaS BigData Hadoop CloudFoundry Java Ruby
Curated by JerryJung
Your new post is loading...
Your new post is loading...
Scooped by JerryJung
Scoop.it!

Pragmatic Programming Techniques: NOSQL Patterns

Pragmatic Programming Techniques: NOSQL Patterns | Cloud PaaS BigData Hadoop CloudFoundry Java Ruby | Scoop.it
JerryJung's insight:

NoSQL Pattern이해 

more...
No comment yet.
Rescooped by JerryJung from All about Software Technology
Scoop.it!

Recommender system algorithm and architecture

Recommender System:Algorithms & Architecture xiangliang@hulu.com

Via Steve Hyounggi Min
JerryJung's insight:

추천시스템의 알고리즘과 아키텍처

more...
No comment yet.
Rescooped by JerryJung from Video Breakthroughs
Scoop.it!

Netflix open sources tool for making cloud services play nice

Netflix open sources tool for making cloud services play nice | Cloud PaaS BigData Hadoop CloudFoundry Java Ruby | Scoop.it

Netflix, it seems, is to cloud computing what Google and Facebook are to distributed systems, generally. Today, Netflix has open sourced its latest technology for keeping its cloud-hosted applications running — a set of libraries, called Hystrix, that is designed to manage interactions between the myriad services that comprise the company’s distributed architecture. If you’re building service-oriented architectures in the Amazon Web Services cloud, it might be worth a look.

 

Hystrix actually stems from earlier work to add resilience to the Netflix API, the means by which many customer-facing applications access the services they need to run. As Christensen explained in a February 2012 blog post, services are distributed across thousands of instances in AWS, and if there are problems with those services — such as high latency or failed connections between them — it can wreak havoc on the Netflix API and seriously affect the performance of all the applications that depend on it.


Via Nicolas Weil
JerryJung's insight:

Hystrix, that is designed to manage interactions between the myriad services that comprise the company’s distributed architecture. If you’re building service-oriented architectures in the Amazon Web Services cloud

more...
No comment yet.
Scooped by JerryJung
Scoop.it!

Auto scaling using Amazon Web Services ( AWS )

In this article i would like to share some of the insights on AWS Auto Scaling in following perspectives: • Need for Auto Scaling • How AWS Auto scaling ca
JerryJung's insight:

auto scaling threshold metric

more...
No comment yet.
Scooped by JerryJung
Scoop.it!

hello world » 빅데이터를 위한 플랫폼들

hello world » 빅데이터를 위한 플랫폼들 | Cloud PaaS BigData Hadoop CloudFoundry Java Ruby | Scoop.it
JerryJung's insight:

빅데이터에 대한 전반적 이해-벤더제품, 요소기술, 기본상식

빅데이터에 대해 이야기할 때에는 보통 다음의 세가지 측면에서 이야기한다.

양(Volume): 저장할 데이터의 양과 의미 분석과 데이터 가공을 많이 해야 하는 처리 요구량속도(Velocity): 저장 속도와 처리 속도다양성(Variety): RDBMS에서 사용하는 테이블의 레코드와 같이 정형화되고 사전에 정의할 수 있는 정제된 형태의 데이터뿐만 아니라 텍스트, 이미지와 같은 비정형 데이터

 VoltDB는 고성능의 OLTP 환경에 적합한 형태로 구성된 시스템이다.

SAP HANA는 SAP에서 만든 메모리 기반 로우/컬럼 저장소다. OLAP와 같은 분석 작업에 최적화된 형태로 시스템을 구성할 수 있도록 지원하는 것이 특징이다.

Vertica는 데이터를 하드 디스크에 컬럼 방식으로 저장하는 OLAP에 특화된 데이터베이스다.
Greenplum은 shared-nothing MPP 구조의 데이터베이스이며 PostgreSQL 기반으로 만들어졌다. 저장되는 데이터는 해당 데이터에 적용되는 연산에 따라서 로우 기반 또는 컬럼 기반 방식을 선택할 수 있다.
IBM Netezza data warehouse는 AMPP(Asymmetric Massively Parallel Processing)라고 부르는 SMP(Symmetric Multiprocessing)와 MPP로 구성된 two-tier 형태의 아키텍처를 가지고 있다.
빅데이터는 이를 처리하는 기술과 빅데이터를 사용하는 사람/조직의 역량이 결합되었을 때 비로소 힘의 원천으로 작용한다라는 것을 꼭 전달하고 싶다. 

more...
No comment yet.
Scooped by JerryJung
Scoop.it!

Systems Programming at Twitter

JerryJung's insight:

트위터가 scala를 적용하면서 변화된 부분을 소개하는글

동시성 제어등

more...
No comment yet.
Scooped by JerryJung
Scoop.it!

IDaaS - Identity Architecture for Hybrid Cloud Computing

IDaaS - Identity Architecture for Hybrid Cloud Computing | Cloud PaaS BigData Hadoop CloudFoundry Java Ruby | Scoop.it
In a previous blog, I linked to the review of how popular media site The Onion was hacked and their social media accounts like Twitter abused, and then highlig… (IDaaS - Identity Architecture for Hybrid Cloud Computing - Cloud Best Practices Network...
JerryJung's insight:

cloud의 성숙도가 올라갈때쯤 이런것도 필요할것으로 보인다.

SaaS/PaaS/IaaS에 대한 통합 관리

more...
No comment yet.
Rescooped by JerryJung from Cloud & Monitoring
Scoop.it!

3세대 플랫폼을 준비하는 EMC의 자세 - 지디넷코리아

3세대 플랫폼을 준비하는 EMC의 자세 - 지디넷코리아 | Cloud PaaS BigData Hadoop CloudFoundry Java Ruby | Scoop.it

Via Sukwon Choi
JerryJung's insight:
EMC가 가상화계의 거대공룡이 될 수 있을까? 예전에 MS가 했던것처럼
more...
Sukwon Choi's curator insight, May 21, 2013 7:22 PM

2세대에서 성공을 거둔 EMC, VMWare => 인프라장비, 솔루션으로 성공
ERP, DB와 같은 미션 크리티컬 애플리케이션을 구동하기 위한 핵심

 

3세대에서는 인프라의 중요성과 관심도가 하락
물리적 장비에 신경쓰고 싶어하지 않으며, 대량의 데이터로부터 새로운 가치를 창출하고자 함
이와 같은 변화에 따라, 과거의 사업모델로는 성공이 어렵다고 판단
고객이 원하는 것을 달성하게 도와주는 기반 솔루션을 제공하는 것으로 방향성 설정

 

피보탈 출범
DW 그린플럼, 하둡, 스프링, V패브릭, 클라우드파운드리, 서비스플랫폼 피보탈랩스, 젬파이어 등을 모아 올해 4분기 피보탈원이라는 통합플랫폼 출시 예정

 

피보탈원
클라우드를 기반으로 데이터를 분석하고 사업에 활용하면서 소비자가 원하는 애플리케이션을 빠르게 개발해 제공할 수 있는 강력하고 빠른 플랫폼

- 데이터 분석을 위한 데이터 패브릭
  - 하둡으로 빅데이터 처리
  - 메모리 기반 DB, 대용량병렬처리(MPP)를 결합한 빠른 SQP 쿼리 분석 수행
  => 지난달 자체 하둡 배포판인 피보탈HD를 선보임

- 애플리케이션 개발을 위한 애플리케이션 패브릭
  - 오픈소스 언어, 프레임워크, 분석도구 제공
  - 애플리케이션 프로비저닝, 수명주기 관리, 서비스 레지스트리 제공
  - 앱 개발자는 인프라 배포만 결정하고, 그에 필요한 데이터센터 세트는 클라우드 환경에서 자동으로 만들어져 준비됨

- 클라우드에서 운영할 수 있게 해주는 클라우드 패브릭

choyeonhee's comment, May 23, 2013 10:43 PM
5월 7일 EMC월드2013에서 발표한 EMC 미래전략에 대한 이야기
VM웨어와 협력해서 올해 4분기 피보탈원이라는 통합플랫폼을 출시예정.
choyeonhee's comment, May 23, 2013 10:47 PM
하둡을 통한 빅데이터처리, 메모리기반DB 등을 이용한 데이터패브릭, 오픈소스언어와 프레임워크를 제공하는 애플리케이션패브릭,이 두 패브릭을 클라우드 기반에서 운영할 수 있게 해주는 '클라우드 패브릭' 으로 구성.
Rescooped by JerryJung from Cloud & Big Data Platform
Scoop.it!

High Scalability - High Scalability - The Tumblr Architecture Yahoo Bought for a Cool Billion Dollars

High Scalability - High Scalability - The Tumblr Architecture Yahoo Bought for a Cool Billion Dollars | Cloud PaaS BigData Hadoop CloudFoundry Java Ruby | Scoop.it
It's being reported Yahoo bought Tumblr for $1.1 billion . You may recall Instagram was profile...

Via Steve Hyounggi Min
JerryJung's insight:

야후가 1.3조원을 들여 산 텀블러의 아키텍처에 대한 소개

텀블러 

- 하루당 500만 이상의 페이지 뷰

- 20명의 엔지니어

- 운영계의 1000대의 하드웨어

- PHP, Scala, Ruby, Redis, Hadoop등 복합적 아키텍처

백엔드쪽을 JVM중심으로 개편함(Scala)에 따라 개발의 속도를 올림

소프트웨어 배포

- Capistrano와 Func를 이용하여 대규모의 소프트웨어 배포 자동화 구현

- Collins라는 관리 시스템을 구축(scala기반)

개발 

- scrum같은 경량의 프로세스, 모든 개발자는 puppet기반의 개인 머신 소유

배울점

- 모든것을 자동화 하여라, 팀의 스킬을 업그레이드 하라, 문서를 읽고 블로깅해라, 동료에게 물어라. 기술에 빠지지 말고 파일럿을 통해 기술을 검증해라 등

more...
No comment yet.
Scooped by JerryJung
Scoop.it!

Cloud Foundry v2 Demo

Demo of Cloud Foundry v2 with spaces and orgs on AWS (#CloudFoundry v2 Demo - YouTube http://t.co/iih9lb8wBw)
JerryJung's insight:

pure paas 다운 위상

역시 개발 라이프사이클 지원

그리고 마켓 플레이스 아아아 파니니

more...
No comment yet.
Scooped by JerryJung
Scoop.it!

PolyglotPersistence

PolyglotPersistence | Cloud PaaS BigData Hadoop CloudFoundry Java Ruby | Scoop.it
JerryJung's insight:

이제 db하나로는 독점할수 없음

more...
No comment yet.
Rescooped by JerryJung from Cloud Platform & Tools
Scoop.it!

Java and PHP PaaS – Chef Recipes for CumuLogic Cloud Services

Java and PHP PaaS – Chef Recipes for CumuLogic Cloud Services | Cloud PaaS BigData Hadoop CloudFoundry Java Ruby | Scoop.it

Via Changje Kim
more...
Changje Kim's curator insight, May 14, 2013 11:12 PM

We customized currently available Chef recipes to provision database instances using CumuLogic Database-as-a-Service (for MySQL and MongoDB), and surprisingly, the recipes were trimmed down to only a couple of lines of code as shown in the comparison below.

Chayeon Hong's comment, May 19, 2013 9:03 PM
Cumulogic PaaS는 AWS와 compatible 한 서비스를 private cloud에서 제공하며 자사의 database as a service 를 이용하면 간단한 chef recipe로 database 인스턴스를 관리할수 있다
Rescooped by JerryJung from PaaS
Scoop.it!

Cloudify - Putting DevOps and PaaS together with Cloudify

Cloudify - Putting DevOps and PaaS together with Cloudify | Cloud PaaS BigData Hadoop CloudFoundry Java Ruby | Scoop.it
RT @fduthilleul: Was looking for differences/overlaps between DevOps & PaaS found this very good article from @natishalom http://t.co/DTHDfPq3 #devops #paas...

Via Maya DAN
JerryJung's insight:

DevOps and PaaS represent two different paradigms for delivering applications to the cloud.

DevOps - DevOps takes an automation approach - with DevOps we basically script the process of installation, configuration and deployment of the application stack. PaaS - PaaS takes an abstraction approach by abstracting the details of the cloud infrastructure from the developers. 

DevOps tends to cater to operations guys that want to maintain the flexibility and control over the infrastructure and PaaS caters more to developers who just want to write code and deliver it without worrying too much about the details of the underlying infrastructure.

more...
No comment yet.
Scooped by JerryJung
Scoop.it!

Pragmatic Programming Techniques: Couchbase Architecture

Pragmatic Programming Techniques: Couchbase Architecture | Cloud PaaS BigData Hadoop CloudFoundry Java Ruby | Scoop.it
JerryJung's insight:

couchbase architecture

more...
No comment yet.
Scooped by JerryJung
Scoop.it!

NoSQL showdown: MongoDB vs. Couchbase

NoSQL showdown: MongoDB vs. Couchbase | Cloud PaaS BigData Hadoop CloudFoundry Java Ruby | Scoop.it
MongoDB edges Couchbase Server with richer querying and indexing options, as well as superior ease of use
JerryJung's insight:

couchbase와 mongodb와의 비교 

Mongo or Couch?
As usual, which product is the best choice depends heavily on the target application. Both are highly regarded NoSQL databases with outstanding pedigrees. On the one hand, MongoDB has spent much more of its lifetime as a document database, and its support for document-level querying and indexing is richer than that in Couchbase. On the other hand, Couchbase can serve equally well as a document database, a Memcached replacement, or both.

Happily, exploring either Couchbase or MongoDB is remarkably simple. A single-node system for either database server is easily installed. And if you want to experiment with a sharded system (and have enough memory and processor horsepower), you can easily set up a gang of virtual machines on a single system, and lash them together via a virtual network switch. The documentation for both systems is voluminous and well maintained.  

 

more...
No comment yet.
Rescooped by JerryJung from Scala & Cloud Playing
Scoop.it!

Savanna: Hadoop on OpenStack

More details about the project and its current state could be found there: http://savanna.readthedocs.org

Via Wonil Lee Ph.D.
JerryJung's insight:

savanna프로젝트 소개 : EMR같은 서비스를 오픈스택에서 지원하기 위한 컴포넌트, 디플로이쪽(Configuration Management등) 내용은 잘 나와있지는 않다. 

more...
No comment yet.
Scooped by JerryJung
Scoop.it!

아마존웹서비스, 구글-페북 계정 연동 지원

아마존웹서비스, 구글-페북 계정 연동 지원 | Cloud PaaS BigData Hadoop CloudFoundry Java Ruby | Scoop.it
[지디넷코리아] 아마존웹서비스(AWS)가 계정접근관리(IAM) 기능으로 구글과 페이스북, 그리고 모기업 아마존의 계정 연동(federation)을 지원한다. AWS를 쓰는 개발자들이 만드는 애플리케이션(이하 '앱')을 페이스북과 구글, 아마존 가입자에게 쉽게 제공할 수 있게 됐다는 뜻이다.
JerryJung's insight:

AWS가 새로 알리는 구글, 페이스북, 아마존 계정 연동은 기존 서비스의 활용 범위를 더 확대한 셈이다. 이로써 개발자들은 AWS 기반 앱을 만들 때 필요할 수 있는 사용자 가입과 계정관리 등 인증 관련 절차를 두지 않고 아마존, 구글, 페이스북에 맡길 수 있다.  

제프 위어러 AWS IAM 수석제품매니저는 공식블로그를 통해 해당 서비스의 기본적인 용례를 설명했다. 그는 사용자가 프로파일용 이미지 파일을 올릴 수 있게 만드는 기능을 포함한 모바일앱을 '아마존닷컴' 서비스에 로그인해 만드는 상황을 가정했다.  

이를 위해 개발자는 아마존S3 저장공간에 이미지 파일을 저장해야 한다. 사용자에게 그가 올리려는 이미지 파일을 아마존S3에 저장할 권한을 해당 모바일앱이 부여할 수 있어야 한다는 얘기다. 이 경우 아마존닷컴 서비스 관련 권한을 주기에 믿을만한 사용자인지 또는 그 행위가 안전한지 가리고, 뭘 허용할지 지정도 해야 한다
기가옴은 아마존이 스타트업이든 대기업이든 온라인상의 공개적인 경쟁자로 맞붙는 시장 상황에서 개발자들이 선택함직한 클라우드서비스로 나서기 위해 노력중이라 평했다. 

more...
No comment yet.
Scooped by JerryJung
Scoop.it!

삼성전자 잡은 美하둡 업체...한국행 러시

삼성전자 잡은 美하둡 업체...한국행 러시 | Cloud PaaS BigData Hadoop CloudFoundry Java Ruby | Scoop.it
[지디넷코리아] ‘미국의 하둡 전문 기업이 조만간 한국에 들어온다’ 지난 몇 달간 국내 기업용 솔루션시장에 떠돈 소문이다. 국내 기업들이 하둡에 관심을 갖고 구체적 구축계획을 잡았고, 하둡 본토의 전문회사가 그를 노리고 국내지사를 설립한다는 얘기였다. 29일 업계에 따르면, 미국 하둡SW 개발업체 호튼웍스가 한국지사 설립작업을 진행 중이다.
more...
No comment yet.
Scooped by JerryJung
Scoop.it!

SQL, NoSQL, BigData in Data Architecture

All about how to build "Data Architecture" using SQL, NoSQL and BigData technologies and how to evaluate them.

JerryJung's insight:

데이터 아키텍처 관점에서의 SQL, NoSQL, BigData

more...
No comment yet.
Rescooped by JerryJung from Cloud & Monitoring
Scoop.it!

퍼블릭 클라우드…델 '포기' VM웨어 '진입' - 지디넷코리아

퍼블릭 클라우드…델 '포기' VM웨어 '진입' - 지디넷코리아 | Cloud PaaS BigData Hadoop CloudFoundry Java Ruby | Scoop.it

Via Sukwon Choi
more...
Sukwon Choi's curator insight, May 23, 2013 1:35 AM

델은 VM웨어 기반으로 운영하는 퍼블릭 클라우드 서비스 사업을 포기하는 것으로 최종 결정했다. 대신 외부 파트너의 클라우드 서비스를 기업에 제공하는 서비스 브로커 사업에 집중할 계획이다.

 

파트너의 이탈에 VM웨어는 직접 퍼블릭 클라우드를 내놓기에 이르렀다. 작년부터 그치지 않고 흘러나왔던 VM웨어의 서비스사업 진출이 현실화된 것이다. VM웨어는 21일 V클라우드 하이브리드 서비스를 출시한다고 밝혔다.

Rescooped by JerryJung from Cloud & Monitoring
Scoop.it!

Can IBM Save OpenStack? - Seeking Alpha

Can IBM Save OpenStack? - Seeking Alpha | Cloud PaaS BigData Hadoop CloudFoundry Java Ruby | Scoop.it
Can IBM Save OpenStack? Seeking Alpha This has been a hard few months for OpenStack, the open source cloud infrastructure first pioneered at NASA and later offered, as an open source project, through Rackspace (RAX) and, now, the OpenStack...

Via Sukwon Choi
more...
Sukwon Choi's curator insight, May 21, 2013 6:38 PM

OpenStack은 public cloud 시장에서 Amazon에 밀리면서 힘든 시기를 보내고 있다.
특히 Amazon은 시장 점유율을 유지하기 위해 지속적으로 가격을 내리고 있으며, 그들이 만든 API는 사실상의 표준 API가 되어버렸다.
이는 Amazon에서 OpenStack으로의 이동을 더욱 어렵게 만들고 있다.

 

그 이후는 IBM이 rackspace를 사야 한다는 개인적인 견해들이라 생략!

Rescooped by JerryJung from Cloud & Big Data Platform
Scoop.it!

가상화를 위한 API, libvirt. Open Source Virtualization and Cloud Computing

libvirt가 무엇인지는 libvirt 프로젝트의 목표에서 쉽게 이해할 수 있다 : 가상 호스트위에서 돌아가는 가상 머신들을 안전하게 관리하기 위한 안정적이고 공통적인 레이어를 제공한다".


Via Steve Hyounggi Min
more...
No comment yet.
Rescooped by JerryJung from Cloud & Monitoring
Scoop.it!

구글, 클라우드 DB 서비스 공개 | Bloter.net

구글, 클라우드 DB 서비스 공개  | Bloter.net | Cloud PaaS BigData Hadoop CloudFoundry Java Ruby | Scoop.it
구글이 자사 클라우드 플랫폼 서비스 제공 범위를 NoSQL과 같은 데이터베이스(DB) 영역으로 넓혔다. 미국 샌프란시스코 모스콘 센터에서 5월15일(현지기준)부터 17일까지 열리고 있는 '구글 I/O 2013'에서 구글은 비...

Via Sukwon Choi
more...
Sukwon Choi's curator insight, May 20, 2013 1:03 AM

'구글 I/O 2013'에서 구글은 비관계형 데이터베이스(DB)인 '구글 클라우드 데이터스토어'를 선보였다.

클라우드 데이터스토어는 구글의 클라우드 인프라 서비스인 '구글 컴퓨트 엔진'의 한 부문으로 데이터센터 크기의 상관없이 규모 가변성과 확장성을 보장한다.
구글에서 개발한 분산 데이터 관리 시스템인 구글 '빅테이블 DB'에 기반해 작동하며, 페타바이트 이상의 데이터를 관리할 수 있는 게 특징이다.

Scooped by JerryJung
Scoop.it!

Google Glass Year In Review

Google Glass Year In Review | Cloud PaaS BigData Hadoop CloudFoundry Java Ruby | Scoop.it
It’s been a little over a year since Google started teasing something it called “Project Glass.” The futuristic, wearable computer that would change the way that you interact with the world was nothing more than a series of rumors for months before...
more...
No comment yet.
Scooped by JerryJung
Scoop.it!

Redis, Resque & Friends

RubyFuZa presentation giving an overview of redis with a couple of examples. Also quick mentions of Resque, Resque-Scheduler and Resque-Retry
JerryJung's insight:

Resque의 인터페이스 방식을 이해하면 좋을듯

more...
No comment yet.