블로그 이미지
개발자로서 현장에서 일하면서 새로 접하는 기술들이나 알게된 정보 등을 정리하기 위한 블로그입니다. 운 좋게 미국에서 큰 회사들의 프로젝트에서 컬설턴트로 일하고 있어서 새로운 기술들을 접할 기회가 많이 있습니다. 미국의 IT 프로젝트에서 사용되는 툴들에 대해 많은 분들과 정보를 공유하고 싶습니다.
솔웅

최근에 받은 트랙백

글 보관함

calendar

          1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31            


Getting Started with Apache Cassandra and Java (Part II)

  By Rebecca Mills, Junior Apache Cassandra Evangelist (@RebccaMills)



Requirements

이 강좌를 따라하시려면 Cassandra instance를 이미 가동한 상태여야 합니다. (작은 클러스터면 더 좋습니다.) Datastax Java Driver 도 인스톨 하세요. (refer to Part 1), 그리고 다음 10분 강좌를 마치시면 좋습니다.
http://www.PlanetCassandra.org/try-cassandra


Try it out

이 예제는 간단한 console application을 만드는 겁니다. Part 1 에서 이미 기본적인것은 다 완료 됐습니다. 이 글에서는 connection policies, prepared statements 그리고 query builder 등에 대해서 알아보겠습니다. 텍스트 에디터를 열어서 sinble main method 가 있는 이름이 GettingStartedTwo 인 클래스를 생성하세요.


public class GettingStartedTwo {

public static void main(String[] args) {

        Cluster cluster;
        Session session;
        ResultSet results;
        Row rows;

이제 cluster에 접속하고 session instance를 생성하겠습니다.

// Connect to the cluster and keyspace "demo"
Cluster cluster = Cluster.builder()
                  .addContactPoint("localhost")
                  .build();
Session session = cluster.connect("demo");


여기서 single instance 대신에 cluster 를 실행하겠습니다. 실패할 경우를 대비해서 적당한 장소에 safeguard를 넣겠습니다. 이 작업은 RetryPolicy 를 사용해서 할 겁니다. retry policy 는 시간이 초과되거나 node 접속이 가능하지 않을 때 반응할 수 있는 디폴트 behavior 가 가능하도록 합니다. DefaultRetryPolicy 를 사용하면 디폴트를 사용합니다.

    * read 시 여러번 반복했지만 데이터를 받지 못할 때

    * write 시 정해진 시간안에 batch statements에 의해 사용되는 log 를 writing 하는게 완료되지 않을 때

cluster = Cluster
    .builder()
    .addContactPoint("192.168.0.30")
    .withRetryPolicy(DefaultRetryPolicy.INSTANCE)
    .build();
session = cluster.connect("demo");

load balancing policy는 어떤 node 가 해당 쿼리에 대해 반응하고 작동할 것인가를 결정해 줍니다. client 는 어떤 node 에서도 read 와 write를 할 수 있습니다. 이것이 어떤 경우에는 효율적이지 않을 수 있습니다. 만약에 어떤 node 가 다른 node에서 가능한 read나 write를 하라는 요청을 받았다면 그 노드는 해당 요청에 대해 처리될 수 있도록 추가 작업이 필요합니다. 이런 경우를 다루기 위해 load balancing을 사용할 수 있습니다. TokenAwarePolicy 는 해당 요청이 primary key에 의해 지정된 data에 대해 해당 node로 가던가 아니면 요청을 적당한 노드로 복제하던가 하는 작업을 하게 될 겁니다. TokenAwarePolicy 를 사용할 때 DCAwareRoundRobinPolicy 를 사용하고 있는데요. 이는 그 요청이 local datacenter에서 수행될 수 있도록 관리하게 됩니다. 지금 현재 우리는 하나의 local cluster 만 가지고 있지만 그 다음 단계인 multi-datacenter 로 확장하게 될 경우 이러한 기능을 사용하는 것은 아주 바람직한 방법이라고 할 수 있습니다.

cluster = Cluster
        .builder()
        .addContactPoint("192.168.0.30")
        .withRetryPolicy(DefaultRetryPolicy.INSTANCE)
        .withLoadBalancingPolicy(
                         new TokenAwarePolicy(new DCAwareRoundRobinPolicy()))
        .build();
session = cluster.connect("demo");




이제 demo 키스페이스에 연결 됐습니다. users 테이블에 user를 입력해 봅시다. Part 1 에서 이미 다뤘던 내용입니다. 여기서는 Part 1과는 약간 다른 방법을 사용할 건데요. prepared statement를 사용할 겁니다. 이는 데이터베이스에 데이터를 넣고 뺄 때 좀 더 scure 하고 더 좋은 performance를 보여줄겁니다. Prepared statement는 cluster에 의해 한번만 parse 되어야 합니다. 그리고 나서 쿼리가 변수에 대입되고 그 변수를 이용해서 해당 쿼리 (statement)를 실행해서 cluster로부터 데이터를 읽고 쓰게 됩니다.


// Insert one record into the users table
        PreparedStatement statement = session.prepare(

        "INSERT INTO users" + "(lastname, age, city, email, firstname)"
                + "VALUES (?,?,?,?,?);");

        BoundStatement boundStatement = new BoundStatement(statement);

        session.execute(boundStatement.bind("Jones", 35, "Austin",
                "bob@example.com", "Bob"));


Java driver를 사용하면 쉽게 해당 user를 다시 받을 수 있습니다. Part 1에서는 CQL의 string representation을 사용했었습니다. 여기서는 같은 것을 Query Builder로 할 겁니다. 이 방법은 잠재적인 CQL injection attack에 대해 좀 더 secure 한 방법으로 그 위험성을 없앨수 있는 방법입니다.


// Use select to get the user we just entered
        Statement select = QueryBuilder.select().all().from("demo", "users")
                .where(eq("lastname", "Jones"));
        results = session.execute(select);
        for (Row row : results) {
            System.out.format("%s %d \n", row.getString("firstname"),
                    row.getInt("age"));
        }

이제 Bob의 생일이니까 나이를 한살 더 올리는 update를 실행하겠습니다.

// Update the same user with a new age
        Statement update = QueryBuilder.update("demo", "users")
                .with(QueryBuilder.set("age", 36))
                .where((QueryBuilder.eq("lastname", "Jones")));
                        session.execute(update);
// Select and show the change
        select = QueryBuilder.select().all().from("demo", "users")
                .where(eq("lastname", "Jones"));
        results = session.execute(select);
        for (Row row : results) {
            System.out.format("%s %d \n", row.getString("firstname"),
                    row.getInt("age"));


                    이제 테이블에서 Bob을 delete 합시다. 그리고 나서 users 테이블에 있는 남아있는 데이터를 모두 print 하겠습니다. Bob의 정보는 delete 됐으니까 더이상 볼 수 없을 겁니다. (이외에 다른 정보가 이전에 입력돼 있다면 그 정보는 보여질 겁니다.)

// Delete the user from the users table
           Statement delete = QueryBuilder.delete().from("users")
                .where(QueryBuilder.eq("lastname", "Jones"));
        results = session.execute(delete);
        // Show that the user is gone
           select = QueryBuilder.select().all().from("demo", "users");
        results = session.execute(select);
        for (Row row : results) {
            System.out.format("%s %d %s %s %s\n", row.getString("lastname"),
                    row.getInt("age"), row.getString("city"),
                    row.getString("email"), row.getString("firstname"));
        }

작업이 끝나면 반드시 connection을 끊어 주세요.

// Clean up the connection by closing it
cluster.close();
    }
}




CQL은 SQL 과 아주 유사합니다. 대부분의 SQL syntax가 CQL에서도 사용됩니다. 만역 관계형 데이터베이스에 대한 사전 지식이 있다면 데이터에 대한 쿼리를 이해하시기 쉬울 겁니다.

이제 Cassandra cluster에 연결하고 데이터베이스에 대해 쿼리를 실행시키면서 관리하는 방법을 배웠습니다. 이 글을 통해 Java Driver를 사용해서 Cassandra를 사용하는 것이 얼마나 쉬운일인지 이해하셨으면 합니다. 전체 console application 에 대한 샘플 코드는 이곳에서 받으실 수 있습니다.

저작자 표시 비영리 동일 조건 변경 허락
신고



Getting Started with Apache Cassandra and Java (Part I)

By Rebecca Mills, Apache Cassandra Junior Evangelist (@rebccamills)




이 강좌를 따라하시려면 Cassandra instance를 이미 가동한 상태여야 합니다. 그리고 다음 10분 강좌를 마치시면 좋습니다.
http://www.PlanetCassandra.org/try-cassandra

Part 1을 이미 보셨다면 그 다음인 Part 2를 보세요. Getting Started with Apache Cassandra and Java Part II.

그리고 사용할 keyspace와 schema 를 만들어 두시고 아래 내용을 실습할 때 사용하세요.


 
Setup



우리는 이 내용을 배우기 위해 간단한 console 어플리케이션을 만들 겁니다. 텍스트 에디터를 여시고 클래스 이름이 GettingStarted 라는 single main method를 가지는 자바파일을 생성하세요.

public class GettingStarted {

        public static void main(String[] args) {

그리고 다운로드 페이지에서 driver jar 파일을 다운로드 받습니다. 다운 받으시려면 여기를 누르세요. 다운 받은 후엔 이것을 여러분의 작업 directory에 expand 하세요. 이렇게 하면 자바파일을 컴파일 할 때 classpath 에 이것을 포하게 됩니다.

For example:
javac -classpath cassandra-java-driver-2.0.2/cassandra-driver-core-2.0.2.jar:. GettingStarted.java

  이 파일을 run 할 때에는 아래와 같이 하게 됩니다.
 
java -classpath cassandra-java-driver-2.0.2/*:cassandra-java-driver-2.0.2/lib/*:. GettingStarted



Try it Out

코딩은 main method에 할 겁니다. 우선 reference들을 hold 할 cluster 와 session instance 필드들을 생성해야 합니다. session은 cluster 에 대한 connection을 관리할 겁니다.

Cluster cluster;
Session session;

instance 에 연결하는 것은 Cluster.builder 메소드를 사용합니다. 여기에 contact point를 넣고 cluster instance를 build 할 겁니다. 해당 cluster로부터 session을 받은 다음 demo 라는 keyspace에 연결합니다.

// Connect to the cluster and keyspace "demo"
cluster = Cluster.builder().addContactPoint("127.0.0.1").build();
session = cluster.connect("demo");

이제 demo 라는 키스페이스에 연결 됐습니다. 이제 user를 users라는 테이블에 insert 해 보겠습니다.

// Insert one record into the users table
session.execute("INSERT INTO users (lastname, age, city, email, firstname) VALUES ('Jones', 35, 'Austin', 'bob@example.com', 'Bob')");

자바 드라이버를 사용해서 쉽게 그 user 정보를 다시 받아올 수 있습니다.

// Use select to get the user we just entered
ResultSet results = session.execute("SELECT * FROM users WHERE lastname='Jones'");
for (Row row : results) {
System.out.format("%s %d\n", row.getString("firstname"), row.getInt("age"));
}


Bob의 생일이니까 이제 Bob의 나이를 update 해 보겠습니다.

// Update the same user with a new age
session.execute("update users set age = 36 where lastname = 'Jones'");
// Select and show the change
results = session.execute("select * from users where lastname='Jones'");
for (Row row : results) {
System.out.format("%s %d\n", row.getString("firstname"), row.getInt("age"));

}

이제 테이블에서 Bob을 한번 지워 보겠습니다. 그리고 나서 모든 row를 print 합니다. delete 된 이후에는 Bob에 대한 정보를 볼 수 없게 될 겁니다. (이전에 정보가 입력돼 있다면 그 정보는 보실 수 있을 겁니다.)

// Delete the user from the users table
session.execute("DELETE FROM users WHERE lastname = 'Jones'");
// Show that the user is gone
results = session.execute("SELECT * FROM users");
for (Row row : results) {
System.out.format("%s %d %s %s %s\n", row.getString("lastname"), row.getInt("age"),  row.getString("city"), row.getString("email"), row.getString("firstname"));
}

모든 작업을 마치면 connection을 반드시 닫아 주세요.

// Clean up the connection by closing it
cluster.close();
    }
}




CQL은 SQL 과 아주 유사합니다. 대부분의 SQL syntax가 CQL에서도 사용됩니다. 만역 관계형 데이터베이스에 대한 사전 지식이 있다면 데이터에 대한 쿼리를 이해하시기 쉬울 겁니다.

이제 Cassandra cluster에 연결하고 데이터베이스에 대해 쿼리를 실행시키면서 관리하는 방법을 배웠습니다. 이 글을 통해 Java Driver를 사용해서 Cassandra를 사용하는 것이 얼마나 쉬운일인지 이해하셨으면 합니다. 전체 console application 에 대한 샘플 코드는 이곳에서 받으실 수 있습니다.

저작자 표시 비영리 동일 조건 변경 허락
신고


Composite Partition Key



composite partition key를 가지고 있는 테이블에 대해 카산드라는 partition key로 여러개의 컬럼을 사용한다. 이 컬럼들은 retrieval (검색)을 용이하게 하기 위해 partition 안에 logical set들을 구성한다. simple partition key와는 다르게 composite partition key는 어디에 데이터가 자리잡을지를 정하기 위해 두개 이상의 컬럼들을 사용한다. Composite partition key들은 single partition에 들어가기엔 데이터가 너무 클 경우 사용된다. partition key에 대해 한개 이상의 컬럼을 사용하는 것은 데이터를 chunks 나 bucket들로 파편화하게 된다. 이 데이터는 group 화 되어 있지만 더 작은 chunk들로 구성되게 된다. 이 방법은 Cassandra cluster 가 hotspotting 이거나 하나의 node에 집중적이고 반복적으로 데이터를 write 하는 경우에 유용하게 사용할 수 있다. 왜냐하면 이 경우 하나의 partition에 아주 집중적으로 writing이 이뤄질 것이기 때문이다. Cassandra는 종종 time series data를 사용하는 경우가 있고 hotspotting 이 문제화 될 수 있다. 입력되는 데이터를 bucket들에 파편화 할 때 년:월:일:시 이 4개의 컬럼을 기반으로 나뉘어지게 되는데 이럼으로서 partition에 hotspot을 줄일 수 있게 됩니다.

데이터는 partition key를 사용해서 검색 (retrieve) 하게 됩니다. 테이블에서 데이터를 검색하기 위해서는 모든 컬럼들의 값들이 partition key안에 정의 되어 있어야 합니다. (만약 secondary index 가 사용되지 않을 경우). 아래 race_year, race_name 테이블은 composition partition key로 된 primary key 안에 있습니다. 데이터를 검색하기 위해서는 두 파라미터 모두가 identify 되어야 합니다.




Composit partition key를 가지고 있는 테이블을 생성하려면 아래와 같이 하면 된다.

    CREATE TABLE 구문의 마지막에 쉼표를 넣고 PRIMARY KEY 라는 키워드를 입력한다. 그리고 그 다음에 partition key 의 컬럼 이름을 넣는다. Composite partition key인 컬럼 이름은 double parentheses(이중 괄호) 안에 넣습니다.

카산드라는 데이터의 전체 row를 partition key 에 따라서 node 에 저장합니다. 만약 하나의 partition에 너무 많은 데이터가 있다면 그리고 그 데이터들을 여러개의 노드들에 분산시키기를 원한다면 composite partition key를 사용합니다.



Using a composite partition key

쿼리를 실행시킬 때 결과를 정렬 시켜야 되는 컬럼이 있다면 이 컬럼을 만들 때 primary key 안에 이 composite partition key를 사용하세요. 아래 예제는  rank_by_year_and_name 이라는 테이블을 만듭니다. 여기에는 레이스에서 이긴 사이클 선수의 순위와 이름이 저장될 겁니다. 이 테이블은 primary key의 composition partition key 로 정의된 컬럼으로 race_year 와 race_name을 사용하고 있습니다. 쿼리는 year와 race name 값을 사용해서 레이스에서 우승한 사이클 선수의 순위를 알아내는데 사용됩니다.

composite partition key 테이블은 아래와 같이 두가지 방법으로 생성할 수 있습니다.



Procedure

    * cycling 키스페이스에 rank_by_year_and_name 이라는 테이블을 생성합니다. composite partition key 로 race_year 와 race_name을 사용합니다. 이 테이블에는 primary key로 사용하는 컬럼인 rank 가 있습니다. 테이블을 만들기 전에, USE 구문을 사용해서 해당 키스페이스로 들어가세요. 이 예제에는 맨 마지막에 primary key 를 정의 합니다. PRIMARY KEY 에서 이중괄호를 사용한 것을 기억하시기 바랍니다.

    cqlsh> USE cycling;
    CREATE TABLE rank_by_year_and_name (
    race_year int,
    race_name text,
    cyclist_name text,
    rank int,
    PRIMARY KEY ((race_year, race_name), rank)
    );




  

USE 구문을 생성해서 해당 키스페이스 안에 들어가는것 대신에 CREATE TABLE 구문에서 키스페이스 이름을 사용함으로서 해당 키스페이스에 테이블을 만들 수 있습니다.

    cqlsh> CREATE TABLE cycling.rank_by_year_and_name (
    race_year int,
    race_name text,
    cyclist_name text,
    rank int,
    PRIMARY KEY ((race_year, race_name), rank)
    );



Compound Primary Key



compound primary key를 가지고 있는 테이블을 만들려면 simple 이나 composite partition key를 사용합니다. 거기에 추가로 clustering 컬럼들을 정의하게 됩니다. Clustering 은 clustering 컬럼들을 정의한 것에 근거해 각 partition 안에 데이터들을 정렬하는 storage engine process 입니다. 대개 컬럼들은 알파벳 오름차순으로 정렬 됩니다. 일반적으로 데이터들의 different grouping은 simplistic choice 보다 더 좋은 read 와 write 결과를 가져오게 됩니다.

데이터는 Cassandra cluster 전체에 걸쳐 distributed 된다는 것을 기억해 두세요. 만약 적은 데이터를 얻기 위해 전체 partition을 read 해야만 한다면 어플리케이션은 large partition으로부터 데이터를 검색해야 하는 부담을 갖게 될 것입니다. physical node 에서 partition key 에 대한 row들이 clustering column들에 근거해 정렬돼 저장됐다면 row들을 검색하는게 아주 효율적일 겁니다. clustering column을 사용하는 테이블내에서 데이터를 그룹핑하는 것은 관계형 데이터베이스의 JOIN 과 비슷하면서 오직 한개의 테이블만 사용하게 됨으로서 훨씬 좋은 performance를 보여줍니다. 이 테이블은 partition key로서 category를 사용하고 clustering column으로서 points를 사용합니다. 각각의 category에 대해 point들은 내림차순으로 정렬된다는 것을 기억해 두세요.



partition으로부터 데이터를 검색하는 것은 clustering column들과 함께 다용도로 사용됩니다. 위 예제를 예로 들면 one-day-races 에 대해 200보다 큰 point 값들을 검색할수 있습니다.

compound primary key를 가지고 있는 테이블을 생성하려면 아래와 같이 합니다.

    * CREATE TABLE 구문의 마지막 컬럼 다음에 PRIMARY KEY 키워드를 넣고 그 키의 column 이름을 넣습니다. 그 컬럼 이름은 괄호로 감싸게 됩니다.



Using a compound primary key

정렬된 결과를 받는 쿼리를 사용할 컬럼을 생성할 때 compound primary key를 사용합니다. 만약 pro cycling 예제가 관계형 데이터베이스용으로 디자인 된다면 races 테이블에 대해 cyclists 테이블에 foreign key를 만들에 서로 관계를 맺게 할 겁니다. 카산드라에서는 이 데이터를 denormalize 하게 됩니다. 왜냐하면 distributed system 에서는 JOIN 은 그렇게 좋은 퍼포먼스를 보여주지 못하기 때문입니다. 이후에 카산드라에서 퍼포먼스를 향상시키기 위해 사용하는 다른 schema를 보게 될 겁니다. Collections와 indexes 는 두개의 데이터 모델링 방법입니다. 아래 예제는 각 race category 에 대해 사이클 선수의 성과 ID, points 가 저장되는 cyclist_category 테이블을 생성합니다. 이 테이블은 partition key로 category를 사용하고 single clustering column으로는 points를 사용합니다. 이 테이블은 points로 정렬된 결과를 검색할 수 있습니다. 검색 내용은 하나의 카테고리 안에 사이클 선수와 그들의 points 리스트가 될 겁니다.

compound primary key 테이블은 아래와 같이 두가지 방법으로 생성할 수 있습니다.



Procedure

    * Compound primary key 를 가지고 있는 table을 만들려면 두개 이상의 primary key를 사용합니다. 이 예제에서는 points에 대해 내림차순으로 보기 위해 WITH CLUSTERING ORDER BY라는 추가적인 절을 사용하고 있습니다. 오름차순이 저장하기에는 좀 더 효율적입니다. 하지만 storage engine의 특성상 내림차순이 더 빠릅니다.

    cqlsh> USE cycling;
    CREATE TABLE cyclist_category (
    category text,
    points int,
    id UUID,
    lastname text,    
    PRIMARY KEY (category, points)
    ) WITH CLUSTERING ORDER BY (points DESC);





    USE 구문을 사용해서 해당 키스페이스 안에 들어가지 않고 테이블을 만들려면 keyspace 이름을 아래와 같이 명시해 주면 됩니다.

    cqlsh> CREATE TABLE cycling.cyclist_category (
    category text,
    points int,
    id UUID,
    lastname text,    
    PRIMARY KEY (category, points)
    ) WITH CLUSTERING ORDER BY (points DESC);

    Note: category와 points의 조합은 cyclist_category 테이블내에서 row를 구별해 주는 unique 한 구분 방법입니다. 같은 category에 대해 한개 이상의 row들이 존재할 수 있는데 이 경우 row들은 다른 points 값을 가지고 있는 경우 일 겁니다. 위 예제를 다시 보세요. 이 데이터를 저장하기 위한 최적화 된 데이터 모델링 인가요? 어떤 condition들이 에러를 유발할 수 있을 까요?



Creating a counter table



Counter는 여러 데이터 모델들에 유용합니다. 예를 들어, 어느 회사에서 회사 홈페이지의 웹페이지 뷰 숫자를 하는 경우 혹은 Scorekeeping 어플리케이션은 온라인으로 현재 게임하는 유저의 숫자를 저장하거나 게임에 접속한 유저의 숫자를 저장하기 위해 counter를 사용할 수 있을 겁니다. 아래 테이블은 id를 primary key로 하고 counter 테이블의 popularity필드에 thumbs up/down 에 근거한 cyclist의 popularity 를 관리하는데 counter 가 사용됨을 보여 줍니다.



distributed database의 Tracking count를 살펴보는 건 흥미로운 일입니다. 카산드라에서는 counter value는 Memtable 안에 위치할 것입니다. 그리고 특정 시기에 한개 이상의 SSTable에 commit 하게 됩니다. 노드들 사이에서 replication (응답) 하는 것은 특정 상황에서 consistency 문제를 야기시킬 수 있습니다. 카산드라의 counter는 counter의 기능을 개선하기 위해 Cassandra 2.1 에서 redesign 됐습니다.다. 그 내용을 자세히 보려면 "What’s New in Cassandra 2.1: Better Implementation of Counters" 를 보세요.

counter는 증가되는 숫자를 저장하기 위한 특별한 column 입니다. counter는 integer 값을 가지면 오름차순/내림차순으로 사용할 수 있습니다. counter는 다른 컬럼들에서 서로 다르게 구현될 수 있기 때문에 counter 컬럼들은 dedicated table에서만 정의 될 수 있습니다.

카산드라 2.1 이상에서는 cassandra.yaml 파일에 여러 counter-related setting을 configure 할 수 있습니다.


Note : 카산드라 2.0.x 에서 사용한 replicate_on_write 테이블 프로퍼티는 카산드라 2.1 에서는 사용하지 않습니다.

counter 컬럼은 index 되거나 delete 될 수 없습니다. counter 컬럼에 데이터를 로드하기 위해서는 혹은 counter의 값을 증가/감소 시키기 위해서는 UPDATE command를 사용합니다. Cassandra는 counter 컬럼을 업데이트 할 때 USING TIMESTAMP 나 USING TTL 은 reject 합니다.

counter 컬럼을 가지고 있는 테이블을 생성하기 위해서는 이렇게 하면 됩니다.

    * counter 와 non-counter 컬럼들을 정의하기 위한 CREATE TABLE을 사용하는데 PRIMARY KEY 정의 하는 일 부분으로 non-counter column들을 사용합니다.




Using a counter

counter 컬럼에 데이터를 로드하기 위해서 혹은 counter 값을 증가/감소시키기 위해서는 UPDATE 명령어를 사용합니다. Cassandra는 counter 컬럼을 업데이트 할 때 USING TIMESTAMP 나 USING TTL 은 reject 합니다.



Procedure

    * counter column을 갖는 테이블 생성.

    cqlsh> USE cycling;
    CREATE TABLE popular_count (
      id UUID PRIMARY KEY,
      popularity counter
      );





    * counter column에 데이터를 로딩하는 방법은 다른 테이블과 좀 다릅니다. 해당 데이터는 insert 되는 것이 아니라 update 된다.

    UPDATE cycling.popular_count
     SET popularity = popularity + 1
     WHERE id = 6ab09bec-e68e-48d9-a5f8-97e6fb4c9b47;

    * counter value를 잘 살펴보세요. popularity 가 1의 값을 가지고 있는 부분을 잘 보세요.


    SELECT * FROM cycling.popular_count;





    * 추가적인 증가/감소는 counter column의 value를 바꿀 겁니다.




Create table with COMPACT STORAGE

테이블을 생성하면서 compound primary key를 할 때 저장된 모든 데이터에 대해 그것과 함께 column 이름이 저장될 필요가 있습니다. 디스크에 하나의 컬럼으로서 각 컬럼에 대응하는 저장된 각각의 non-primary key 컬럼 대신에 디스크에 전체 row를 한개의 컬럼에 저장합니다. 디스크 공간을 절약해야 할 경우 WITH COMPACT STORAGE를 사용합니다. 그러면 legacy (Thrift) storage engine format 으로 데이터를 저장합니다.

CREATE TABLE sblocks (
  block_id uuid,
  subblock_id uuid,
  data blob,
  PRIMARY KEY (block_id, subblock_id)
)
WITH COMPACT STORAGE;





Compact storage 를 사용하면 compount primary key가 아닌 한개 이상의 컬럼을 정의해야 되는것을 막아 줍니다. compact 되지 않은 primary key를 사용하는 compact table은 primary key 가 아닌 여러개의 컬럼들을 가질 수 있습니다.

compound primary key를 사용하는 compact table은 적어도 한개 이상의 clustering 컬럼을 정의 해야만 합니다. compact table이 생성되고 나면 컬럼들은 추가되거나 제거될 수 없습니다. WITH COMPACT STORAGE 를 사용하지 않으면 CQL은 non-compact storage로 테이블을 생성합니다.

Collection과 static 컬럼들은 COMPACT STORAGE tables 에 사용될 수 없습니다.



Table schema collision fix

Dynamic schema 생성이나 update는 에러를 유발하는 schema collision 을 발생 시킬 수 있습니다.

Procedure

    1. schema match를 위해 모든 노드에서 전체적으로 재 시작을 합니다. 모든 노드가 있는 클러스터에서 nodetool을 실행합니다. 그리고 한개의 schema 버전이 있는지 확인합니다.

    2.각 노드에서 - data directory 를 체크 한다. - 질문에 해당하는 테이블에 대한 두개의 디렉토리를 찾는다. 만약 한개의 디렉토리만 있다면 다음 노드로 이동한다. 만약에 그 노드에 두개 이상의 디렉토리가 있다면 오래된 테이블 디렉토리는 업데이트 이전것이고 새것은 update 이후를 위한 것이다. 다음으로 간다.

    $ cqlsh -e "SELECT * FROM system.schema_column_families" |grep <tablename>

    3. 어떤 cf_id (column family ID) 가 system.schema_columnfamilies 의 최신 테이블 ID 인지 찾는다. 이 column family ID는 결과의 5번째 컬럼이다.
   
    Move the data from the older table to the newer table's directory and remove the old directory. Repeat this step as necessary.
    4. 이전 테이블의 데이터를 최근 테이블의 디렉토리로 옮기고 이전 디렉토리는 지운다. 이 작업을 다른 노드들에서도 계속 반복한다.

    5. nodetool refresh 를 실행한다.

저작자 표시 비영리 동일 조건 변경 허락
신고


Creating a table


CQL 에서는 SQL 과 마찬가지로 컬럼의 row들을 가지고 있는 테이블들에 데이터가 저장된다.

Note: 카산드라 내부에서 구현되는 row와 column (행과 열) 들은 SQL 과 똑같지 않다. 좀 더 자세한 내용은 A thrift to CQL3 upgrade guide or CQL3 for Cassandra experts 를 보세요.

테이블은 runtime 시 업데이트나 쿼리를 block 하지 않으면서 create, drop, alter 될 수 있다. 테이블을 생성할 때 primary key와 컬럼들을 테이블 property들과 함께 정의한다. 테이블 프로퍼티를 configure 하기 위해서는 optional로 WITH clause와 keyword argument들을 사용한다. "caching, compaction, and other operations" 테이블 프로퍼티들은 테이블 세팅처럼 테이블별로 특정된다.


Create schema using cqlsh

cqlsh 를 사용해서 테이블 스키마를 생성한다. Dynamic 하게 schema를 생성 하는것은 지원되지 않는다. 만약 여러 client들이 동시에 테이블을 generate 하기 위한 시도가 있을 경우 collision 이 생길 수도 있다. 만약 이렇게 collision이 일어날 경우 해결하는 방법은 schema collision fix instructions를 보면 나와있다.

Primary Key

primary key는 data storagy은 순서와 위치를 지정한다. 이 primary key는 테이블이 생성될 때 정의되고 alter 되지 않는다. 만약 primary key 의 변경이 필요하면 새로운 table schema를 생성하고 그 새로운 테이블에 데이터를 입력해야 한다. 카산드라는 어떤 node가 특정 테이블 row를 hold 할 것인가를 식별하는 partition row store, partition key, primary key 의 component 이다. 테이블 생성 이후에 그 테이블을 alter 하는 자세한 방법은 ALTER TABLE 을 보라.

프라이머리 키는 반드시 partition key를 가져야 한다. Composite partition key는 data set을 split 할 수 있다. 그래서 관련된 데이터가 각각의 partition들에 분산되서 저장된다. Compound primary key는 partition에 data를 order 한 clustering column을 포함한다.

테이블의 primary key를 정의하는 것은 카산드라에서는 아주 중요한 부분이다. 어떤 컬럼이 primary key 가 될 것인지 정의하기 이전에 데이터가 테이블에 어떻게 insert되고 retrive 될 것인지를 충분히 고려한 후 모델링을 해야 한다. 클러스터의 노드들 사이에서의 partition들의 size, partition안의 데이터의 순서, partition들의 distribution 이런 것들은 테이블에 대한 베스트 primary key를 결정하기 위해 고려되어야 할 사항들이다.


Table characteristics


테이블 이름으로는 알파벳 문자로 이뤄진 string과 밑줄 (맨처음은 안 됨)을 사용할 수 있다. 테이블 이름을 정할 때

    다른 keyspace에 테이블을 생성할 경우.  keyspace 이름과 table 이름을 구분하기 위해 . (점)을 사용한다. 이렇게 하면 다른 키스페이스에 있더라도 원하는 키스페이스에 해당 테이블을 생성할 수 있다.
    현재 위치한 키스페이스를 사용할 경우. 테이블 이름만 명시하면 된다.

Column characteristics

컬럼은 CQL table의 중요한 component 이다. 테이블 스키마를 디자인하는데 유연성을 주기위해 여러개의 컬럼 타입들이 존재한다. 테이블 내의 각각의 컬럼은 테이블을 생성할 때 데이터 타입을 할당하게 된다. 컬럼 타입들은 collection-type 컬럼을 제외하고는 괄호를 사용해서 표시하고 컬럼이름과 type 의 쌍은 쉼표로 구분된다. 다음 예제는 UUID, text 그리고 timestamp 등 세개의 데이터 타입을 사용한다.

CREATE TABLE cycling.cyclist_alt_stats ( id UUID PRIMARY KEY, lastname text, birthday timestamp, nationality text, weight text, height text );





Collection column 타입은 map, set, list를 지원한다. 이 컬렉션 컬럼은 collection type을 사용해서 정의되고 그 다음에 꺽쇠 괄호 안에 int나 text 등의 다른 타입이 온다. 다음 예제는 각 collection type을 지정한다. 하지만 실제 쿼리를 위해 디자인 하는 것은 아니다.

CREATE TABLE cycling.whimsey ( id UUID PRIMARY KEY, lastname text, cyclist_teams set<text>, events list<text>, teams map<int,text> );





현재로서는 Collection type은 nest 될 수 없다. (collection 안의 또 다른 collection은 불가능하다.) Collection은 frozen data type을 포함할 수 있습니다. 그 사용예와 사용법을 보시려면  Collection type 을 보세요.
컬럼 타입인 tuple 데이터 타입은 입력된 positional field의 고정된 length 값을 가진다. tuple을 사용저 정의 타입의 대안으로 사용한다. tuple은 많은 field (32768)들을 가질 수 있다. 대개 tuple은 적은 수의 field로 생성한다. tuple은 대개 2~5 개 필드들에 사용된다. 테이블에 tuple을 생성하려면 꺽쇠 괄호를 사용한다. 그리고 tuple component type을 정의하기 위해 쉼표로 구분한다. Tuple은 nest 될 수 있다. (Tuple 안에 또 다른 Tuple을 만들 수 있다.) 다음 예제는 text 필드로 구성되고 또 그 안에 두개의 float 필드들이 있는 tuple 타입을 만드는 것을 보여 준다.

CREATE TABLE cycling.route (race_id int, race_name text, point_id int, lat_long tuple<text, tuple<float,float>>, PRIMARY KEY (race_id, point_id));





Note : 카산드라 2.1.0 에서 2.1.2 까지는 tuple을 위해 frozen을 사용해야 한다. 2.1.3 이상의 버전에서는 이 keyword가 꼭 필요하지는 않다.

frozen <tuple <int, tuple<text, double>>>

좀 더 자세한 정보는 "Tuple type" 을 보세요.

사용자 정의 타입 (UDTs)은 여러 필드들의 데이터 타입이 CREATE TYPE 을 사용해 생성할 때 컬럼 타입으로 사용될 수 있다. UDT는 여러 테이블 정의에서 사용되어질 컬럼 타입일 경우 사용된다. 사용자 정의 컬럼 타입은 frozen 키워드를 사용한다. frozen 은 여러 컴포넌트들을 하나의 value로 serializes 한다. Non-frozen type은 개별적인 필드에 대해 update할 수 있도록 한다. 카산드라는 frozen type의 value를 blob로 처리한다. keyspace의 scope : 키스페이스 이름 다음에 점을 찍고 타입의 이름을 사용한다. 이렇게 하면 (점을 사용하면) 카산드라는 해당 키스페이스의 타입에 접근하면서도 현재의 키스페이스를 바꾸지는 않는다. 다른 방법으로 키스페이스를 특정 하지 않으면 카산드라는 현재의 키스페이스 내에서 작업할 것이다. 자세한 사항은 "Using a user-defined type" 를 보라.

counter는 점차 증가하는 숫자를 저장하는데 사용되는 특별한 컬럼이다. countercounter data type 컬럼을 포함하고 있는 dedicated table에만 사용될 수 있다.



Using the keyspace qualifier

가끔 키스페이스를 선택하기 위해 USE 구문을 사용하는 것이 불편할 때가 있다. Connection pooling 은 여러개의 키스페이스를 관리해야 한다. 여러 키스페이스를 tracking 하는 것을 간편화하기 위해 USE 구문 대신에 keyspace  qualifier 를 사용한다. 이 statement들에 keyspace qualifier를 사용해서 키스페이스를 특정할 수 있다.

    ALTER TABLE
    CREATE TABLE
    DELETE
    INSERT
    SELECT
    TRUNCATE
    UPDATE

Procedure


사용할 키스페이스에 있지 않으면서 그 키스페이스 내의 테이블을 특정하려면 그 키스페이스 이름을 적고 그 다음에 점을 찍고 그리고 테이블 이름을 명시한다.
예를 들어 cycling.race_winners 이렇게 하면 cycling 키스페이스 안의 race_winners 테이블을 명시하는 것이다.

cqlsh> INSERT INTO cycling.race_winners ( race_name, race_position, cyclist_name ) VALUES (
  'National Championships South Africa WJ-ITT (CN)',
  1,
  {firstname:'Frances',lastname:'DU TOUT'}
);


Simple Primary Key

간단한 프라이머리 키를 가지고 있는 테이블에 대해 카산드라는 partition key로서 한개의 column name을 사용한다. 이 primary key는 이 경우 오직 한개의 partition key만을 갖게 되는 것이다. 만약 많은 양의 데이터가 사용되고 -프라이머리 키가 정의된 컬럼에 대해 적은 value만이 insert 되는 경우- 그 partition은 더 커지게 된다. Large partition은 read request에 대해 반응 속도가 느리거나 노드의 할당된 디스크공간에 대해 너무 크게 증가할 것이다. 다른 한편으로는 간단한 프라이머리 키에 저장된 데이터는 insert 와 retrieve시 속도가 빠를 것이다. 만약 해당 컬럼에 대해 많은 value들이 여러 노드에 걸쳐 partition들이 distribute 될 경우 더 효과적일 것이다.

가끔 카산드라를 사용할 때 부딪히는 첫번째 어려움에는 simple primary key를 가지고 있는 테이블과 관련된 일도 포함된다. 오직 해당 primary key만이 테이블에서 데이터를 retrieve 할 때 명시되어야 한다는 것을 명심하라. (secondary index가 사용되지 않을 경우.) 많은 production table들이 simple primary key 같은 unique identifier 들을 사용한다. 이런 identifier를 살펴보고 테이블의 나머지 데이터를 retrive 하라. 만약 어플리케이션이 simple lookup table이 필요하면 simple primary key를 사용하라. 그 테이블은 primary key로 id를 사용할 것이다.



To create a table having a single primary key, two methods can be used:
single primary key를 가지고 있는 테이블을 생성할 때 두가지 방법을 사용할 수 있다.

   
    CREATE TABLE definition 안의 컬럼 이름 다음에 PRIMARY KEY 라는 키워드를 넣는다.
    CREAET TABLE definition 안의 마지막 컬럼 정의 이후에 PRIMARY KEY 라는 키워드를 넣는다. 그 다음에 그 키의 컬럼 이름을 명시하면 된다. 그 컬럼 이름은 괄호 안에 넣는다.



Using a simple primary key


정렬된 결과를 return 하도록 하는 쿼리에 사용될 컬럼을 생성하기 위해 simple primary key를 사용한다. 이 예제는 ID number 가 저장된 cyclist_name 테이블을 생성한다. 그리고 컬럼들에는 사이클 선수의 이름과 성이 들어간다. 이 테이블은 primary key로 UUID 를 사용한다. 이 테이블은 해당 ID number에 해당하는 사이클 선수의 이름을 찾을 때 사용될 수 있다.


simple primary key 테이블 생성 방법은 다음과 같이 3가지가 있다.

Procedure

    cycling 키스페이스안에 cyclist_name이라는 테이블을 생성한다. primary key로 ID를 사용한다. 이 테이블을 생성하기 이전에 USE 구문으로 해당 키스페이스로 들어간다.

    cqlsh> USE cycling;
    CREATE TABLE cyclist_name ( id UUID PRIMARY KEY, lastname text, firstname text );





    테이블 definition 끝에 primary key 를 지정함으로서 똑같은 결과를 얻을 수 있다.

    cqlsh> USE cycling;
    CREATE TABLE cyclist_name ( id UUID, lastname text, firstname text, PRIMARY KEY (id) );

    USE 구문을 사용하지 않고 키스페이스 이름을 명시함으로서 해당 키스페이스에 테이블을 사용할 수 있다.

    cqlsh> CREATE TABLE cycling.cyclist_name ( id UUID, lastname text, firstname text, PRIMARY KEY (id) );

    Cassandra 2.2 이상 버전에서는 date 나 time data type을 사용할 수 있다.

    CREATE TABLE cycling.birthdays (id UUID PRIMARY KEY, bday date, btime time);



제가 설치한 카산드라에서 이 구문을 실행했더니 위와 같은 에러가 나오네요.


그래서 카산드라 버전을 확인해 봤습니다.


select peer, release_version from system.peers;
select release_version from system.local;




역시나 제가 설치한 카산드라 버전은 2.1.11.969 이네요.


여기까지 테이블 생성 관련해서 Simple Primary Key 까지 공부했습니다.


다음은 테이블 생성이 나머지 부분을 공부해 보겠습니다.

저작자 표시 비영리 동일 조건 변경 허락
신고



오늘은 keyspace와 관련해서 리스트업 해보고 생성하고 업데이트 하는 것에 대해 공부해 보겠습니다.


Creating and updating a keyspace


CQL에서 keyspace를 생성하는 것은 SQL database를 생성하는 것과 비슷하지만 약간 다르다. Cassandra keyspace는 namespace로서 어떻게 node들에 데이터가 replicate (복제)될 것인가를 정의하는 것이다. 일반적으로 어플리케이션 당 한개의 cluster는 한개의 keyspace 를 가지고 있다. Replication은 keyspace별로 컨트롤 된다. 다른 replication을 가진 데이터는 다른 keyspace에 있어야 한다. 키스페이스는 데이터모델안에서 significant map layer로서 사용되도록 디자인되지 않았다.

키스페이스를 생성할 때, replicating keyspace를 위해 특정 strategy class를 명시해야 한다. SimpleStrategy 클래스는 카산드라를 evaluating할 때 좋다. 실제 프로덕션용이나 mixed workloads들을 위해서는 NetworkTopologyStrategy 클래스를 사용하는 것이 좋다.

NetworkTopologyStrategy를 예를 들어 single node cluster 같은 evaluating 목적으로 사용하기 위해서는 default data center name 이 사용된다. NetworkTopologyStrategy 를 프로덕션용으로 사용할 때에는, default snitch 인 SimpleSnitch를 network-aware snitch (네트워크에서 사용되는 snitch) 로 바꿔야 한다. 한개 이상의 데이터 센트 이름을 snitch property 파일에 정의하고 그 데이터 센터 이름을 keyspace를 정의할 때 사용해야 한다. Snitch 부분을 보세요. 만약 cluster 가 PropertyFileSnitch를 사용한다면 keyspace를 생성할 때 user-defined data center와 rack name을 cassandra-topologies.properties 파일에서 사용한다. 만약 cluster 가 Ec2Snitch를 사용한다면 키스페이스를 EC2 data center 와 rack 이름을 사용해서 생성한다. 만약 cluster가 GoogleCloudSnitch를 사용한다면 키스페이스를 GoogleCloud data center와 rack name을 사용해서 생성한다.

만약 default snitch를 바꾸고 NetworkTopologyStrategy를 사용하는데 실패하면 카산드라는 write request를 수행하지 못할 것이다. (예를 들어 데이터를 테이블에 insert 하는 것 같은...) 그리고 이런 에러 메세지를 log 할 것이다.

Unable to complete request: one or more nodes were unavailable.

데이터 센터 이름을 snitch property 파일에 정의하거나 datacenter1이라는 single data center 를 사용하지 않는 한 NetworkTopologyStrategy 를 사용하는 keyspace 에서는 table 에 데이터를 insert 할 수 없다.




CQL 을 한번 실습해 보겠습니다.

우선 다운 받은 Datastax Enterprise 에서 start_cassandra 를 더블 클릭해서 카산들를 실행합니다.

그리고 커맨드 창을 열어서 cqlsh 를 실행합니다.

그러면 위 화면과 같이 cqlsh 가 실행됩니다.



이제 전체 keyspace가 어떤게 있는지 보겠습니다.

select * from system.schema_keyspaces;


보니까 기본적으로 4개의 키스페이스가 있네요.

첫번째 키스페이스의 구조를 한번 보겠습니다.


desc dse_system;

이러면 해당 키스페이스의 구조를 볼 수 있습니다.



특정 키스페이스를 사용하시려면 이렇게 합니다.

use des_system;


그리고 이 keyspace 에 있는 column family들을 보려면 이렇게 합니다.


select * from system.schema_columnfamilies;


너무 복잡하니까 컬럼패밀리 이름들만 출력해 볼까요?





select columnfamily_name from system.schema_columnfamilies;


그리고 특정 컬럼패밀리의 구조를 보시려면 desc encryped_keys 를 하시면 됩니다.


참고로 use 'keyspace' 를 하지 않은 상태에서 특정 키스페이스 안의 컬럼패밀리들을 보려면 where절을 넣으시면 됩니다.

select columnfamily_name from syste.schema_columnfamilies where keyspace_name = '키스페이스';


desc tables; 라고 하면 현재 키스페이스 내의 테이블들을 보실 수 있습니다.



이제 keyspace를 생성해 보겠습니다.

CREATE KEYSPACE demodb WITH REPLICATION =
 { 'class' : 'NetworkTopologyStrategy', 'datacenter1' : 3 };



생성된 키스페이스를 확인하기 위해 아래 두개의 쿼리를 이용했습니다.


select * from system.schema_keyspaces; , describe keyspaces;


Datastax 의 최신 버전 CQL Tutorial 페이지에서는 cycling 이라는 키스페이스를 생성했네요.

그래서 그 키스페이스도 생성해 보았습니다.


CREATE KEYSPACE IF NOT EXISTS cycling WITH REPLICATION 
= {
'class' : 'NetworkTopologyStrategy', 'datacenter1' : 3 };


use cycling; , desc cycling; 을 해 보았습니다.


이제 이 키스페이스를 업데이트 해 보겠습니다.


Updating the replication factor


replication factor를 증가시키면 카산드라 클러스터에 저장된 keyspace data 의 copy 의

tatal number 가 증가된다. security feature를 사용한다면 default(1) 에서부터

system_auth 키스페이스의 replication factor 를 증가시키는 것이 중요하다.

왜냐하면 node 의 그 유일한 replication이 다운되면 더이상 클러스터에 log를 할 수 없기 때문이다.

system_auth 키스페이스에는 각 데이터 센터별 node 의 갯수 만큼 replication factor를

세팅하는 것이 권장된다.




ALTER KEYSPACE "cycling" WITH REPLICATION

= { 'class' : 'SimpleStrategy', 'replication_factor' : 3 };





저작자 표시 비영리 동일 조건 변경 허락
신고


CQL data modeling


Data modeling concepts



데이터 모델링은 아이템들이 저장될 entity들에 대해 구별/정의 하고 그 entity 들간의 관계를 짓는 프로세스이다. 여러분의 데이터 모델링을 생성하기 위해서는 접근되는 데이터들의 타입을 알아내고 perform 될 쿼리들의 타입들을 알아내야 한다. 이 두개의 요소가 데이터의 organization과 structure 구성에 주요한 역할을 한다. 또한 데이터베이스의 테이블들을 디자인하고 생성할 때에도 이 두가지 요소는 중요하게 작용한다. 때에 따라 데이터를 indexing 하는 것은 퍼포먼스 향상에 도움을 준다. 그래서 어떤 컬럼이 secondary index가 될지에 대해 정하게 된다.

카산드라에서의 데이터 모델링은 query-driven (쿼리 기반)의 방식을 사용한다. 데이터를 organizing 하기 위해 특정 쿼리를 이용해서 하게 된다는 것이죠. 쿼리는 테이블에서 데이터를 selecting 하는 도구 입니다. 스키마는 테이블에서 어떻게 데이터가 arrange 되어야 하는가에 대한 정의이구요. 카산드라의 데이터베이스 디자인은 fast read and write라는 요구조건을 기반으로 만들어 졌습니다. 그러므로 좋은 스키마 디자인은 데이터를 읽고 retrieve 하는 과정을 더 빨리 할 수 있는 디자인입니다.

반면에 관계형 데이터베이스는 테이블과 관계 디자인에 근거해서 만들어 집니다. 그 이후에 쿼리를 만들어서 사용하는 것이지요. 관계형 데이터베이스의 데이터 모델링은 table-driven (테이블 기반) 이라고 할 수 있습니다. 그리고 테이블간의 관계는 쿼리에서 table join으로 표현 됩니다.

Cassandra의 데이터모델은 조정 가능한 consistency의 특성을 가진 분할된 row store라고 얘기할 수 있습니다. 저정 가능한 consistency라는 의미는 어떤 read 혹은 right 작업에서 client application이 요청된 데이터가 어떤 consistent를 가져야 하는지를 결정한다는 겁니다. Row들은 Table 안에 있습니다. 테이블의 primary key의 첫번째 component은 partition key 입니다. 이것은 partition 안에 존재하죠. row들은 그 key의 나머지 columns에 남아있으면서 cluster 됩니다. 다른 컬럼들은 primary key 와 별도로 인덱스 될 수 있습니다. 왜냐하면 Cassandra는 distributed database로서 파티션에 의해 노드들에서 데이터들이 그룹화 되어 있을 때 read와 write 작업에 대해 효율성을 담보할 수 있기 때문입니다. 빠른 response를 기대한 다면 그 쿼리가 되도록 적은 파티션에 작용하도록 해야 합니다. consistancy 레벨을 조정하는 것은 숨어있는 또 다른 부분 이지만 이것이 데이터 모델링 프로세스에 속하지는 않습니다.

카산드라 데이터 모델링은 쿼리에 focusing 돼 있습니다. 아래 Pro Cycling statistics demonstrate의 예제에서는 특정 쿼리에 대한 카산드라 테이블 스키마가 어떻게 modeling 하는 가를 보여 줍니다. 이 데이터 모델은 entity들과 관계들을 보여 줍니다.



이 엔티티들과 그 관계들은 테이블 디자인을 할 때 참고됩니다. 한개의 테이블에 access 할 때 쿼리는 가장 잘 디자인 된 것입니다. 그래서 쿼리에 포함되어 relationship안에 구성돼 있는 모든 엔티티들은 반드시 한개의 테이블이어야만 합니다. 어떤 테이블들은 한개의 엔티티와 그것의 attribute들만으로 구성됩니다. (아래 첫번째 예제가 이 경우입니다) 다른 경우는 1개 이상의 entity와 그 속성(attributes)들을 가지는 경우입니다. 아래의 두번째 예제에 해당되는 것이죠. 하나의 카산드라 테이블에 모든 데이터가 들어가 있는 것은 관계형 데이터베이스와 구별 되는데요. 관계형 데이터베이스 같은 경우는  두개 이상의 테이블에 데이터가 들어가 있고 foreign key로 테이블들간의 데이터의 관계를 설정하게 되죠. 카산드라는 이렇게 single table - single query 방식을 사용하기 때문에 쿼리 속도가 빠르게 되는 겁니다.

이 Pro Cycleing statistics에 대한 기본 쿼리 (Q1)는 cyclist들의 리스트 입니다. 여기에는 사이클리스트의 id, firstname 그리고 lastname 이 들어가 있습니다. 이 테이블에서 사이클 선수들을 구별해 주기 위해 UUID를 사용한 id 가 있습니다. 이 테이블에서 사이클 선수들 리스트를 뽑는 간단한 쿼리를 위해 이 id 에 partition K가 있습니다. 아래 다이어그램을 보면 Pro Cycling data model에 대한 lgical model 의 portion을 보실 수 있습니다.

Query 1 : 특정 id에 해당하는 사시클 선수 이름 찾기



연관된 쿼리 (Q2) 는 특정 race 카테고리에 대한 모든 사이클 선수들을 찾는 겁니다. 카산드라에서는 테이블에 카테고리 별로 모든 사이클 선수들의 그룹이 있는 것이 훨씬 효과적으로 작동할 수 있습니다.
그러기 위해 몇개의 공통된 컬럼들이 필요합니다. (id, lastname). 여기서는 테이블의 primary key에 카테고리가 patition key (K)로 포함돼 있습니다. 그리고 이 안에 있는 id 는 partition C로 돼 있습니다. 이럼으로서 각각의 사이클 선수에 해당하는 unique 한 record들을 관리할 수 있게 됩니다.

Query 2 : 특정 카테고리 별 사이클 선수들 찾기



이상이 두개의 아주 간단한 쿼리를 보여주는 예제입니다. 좀 더 많은 예제들은 CQL을 사용한 데이터모델링 그림을 보면 아실 수 있습니다.

테이블을 디자인하는데 가장 중요한 부분은 테이블과 테이블간의 관계가 아니라는 것을 명심하시기 바랍니다. 그것은 관계형 데이터베이스의 모델링 입니다. 카산드라에 있는 데이터는 대개 한 테이블 당 한개의 쿼리 형식으로 구성됩니다. 그리고 데이터는 여러 테이블들에 반복적으로 사용됩니다. 이러한 프로세스를 denormalization이라고 합니다.
관계형 데이터베이스에서는 데이터의 중복을 피하기 위해 normalize 데이터를 사용합니다.  entity 들간의 관계는 중요합니다. 카산드라에 저장돼 있는 데이터의 순서는 데이터를 가져올 때 간편성과 속도성에 큰 영향을 미칠 수 있기 때문입니다. 스키마 디자인은 같은 테이블의 관계된 속성들을 포함함으로서 entity들간의 관계를 capture 할 수 있게 해 줍니다. 어플리케이션에서 사용하는 client-side join은 테이블 스키마가 그 관계의 복잡성을 제대로 capture 하지 못했을 때 사용하게 됩니다.




Data modeling analysis


entity와 그 관계들에 대한 모델 개념이 만들어 졌다면 이 conceptual model로부터 테이블 스키마를 생성하기 위한 예상되는 쿼리들을 사용하실 수 있습니다. 데이터 모델의 마지막 단계는 logical design의 분석을 완료하는 것입니다. 그 과정을 통해 필요한 수정사항들을 발견하고 또 수정을 할 수 있게 되는 것이죠.
이 수정작업은 partition size limitation, cost of data consistency 그리고 performance costs 등에 대한 이해를 바탕으로 진행하실 수 있습니다. 왜냐하면 여러 다른 선택 가능한 디자인들이 있을 수 있기 때문입니다.

보다 효율적으로 운영하기 위해 파티션들은 특정 limit 내에서 제한되어야 합니다. 이 파티션 size를 측량하는 두 가지 요소는 파티션 안의 값들의 갯수와 디스크에서의 파티션 size 입니다. 한 row 당 최대 컬럼수는 20억 입니다. 디스크 공간을 sizing 하는 것은 좀 더 복잡합니다. 각 테이블의 row의 갯수, 컬럼의 갯수, primary key column 들 그리고 static 컬럼등을 고려해야 합니다. 각 어플리케이션은 각각 다른 efficiency parameter들을 가질 겁니다. 가장 좋은 방법은 value의 최대 갯수를 10만 아이템 이하로  디스크 사이즈는 100MB 이하로 유지하는 겁니다.

Data redundancy 도 반드시 고려해야 할 부분 입니다. 카산드라의 distributed design 의 결과인 이 두개의 redundancy는 테이블들과 여러 partition replicate들에 중복된 데이터 들이다.

데이터는 일반적으로 여러개의 테이블에 중복된다. 이것은 write를 하는 동안 퍼포먼스에 영향을 준다. 그리고 좀 더 많은 디스크 스페이스도 필요로 한다. 사이클 선수의 이름과 아이디를 레이스 카테고리, 종료된 레이스, 사이클 선수 통계와 같은 여러개의 데이터와 함께 저장하는 것을 생각해 보자. 여러개의 테이블에 이름과 id를 저장하면 linear duplication 이 발생한다. 두개의 값들이 각각의 테이블에 저장되는 것이다. 테이블 디자인은 좀 더 높은 order duplication의 가능성을 고려해야 할 것이다. 예를 들어 unlimited keyword 들이 광범한 수의 row에 저장되는 것 등. n keyword들이 m row들에 저장되는 경우는 좋은 테이블 디자인이 아니다. 이럴 경우 좀 더 나은 디자인을 위해 테이블 스키마를 다시 생각해 보아야 한다. 해당 쿼리는 계속 생각하고 있어야 하는 것은 물론이다.

Cassandra는 replication factor에 기반해서 파티션 데이터을 복제한다. (당연히 디스크 공간을 차지하게 될 것이다.) Replication (복제) 할 때 distributed database(데이터 베이스 분산)과 디스크 저장공간의 sizing을 감안해서 해야 하는 것은 중요하다.

어플리케이션 쪽에서의 join은 퍼포먼스에 악영향을 줄 수 있다. 일반적으로 여러분은 join을 필요로 하는 쿼리에 대해 본석해야 하고 별도의 테이블에 그 join 결과를 pre-computing 하고 저장하는 것에 대해 생각해야 한다. 카산드라에서는 목표가 퍼포먼스를 위해 1 개의 테이블에 1개의 쿼리를 사용하는 것이다. LWT (LightWeight Transactions)도 퍼포먼스에 영향을 미친다. 쿼리가 LWT를 사용하는 지 여부를 고려하는 것이 필요하고 정말 필요한것이 아닐 경우 그 requirement를 remove 하는 것도 필요하다.





저작자 표시 비영리 동일 조건 변경 허락
신고

CQL (Cassandra Query Language)

2015.12.18 23:51 | Posted by 솔웅


Cassandra Query Language (CQL)은 카산드라 데이터베이스를 사용할 수 있는 primary lanuage 이다. 카산드라와 상호작용할 수 있는 가장 기본적인 방법은 CQL shel (cqlsh)을 이용하는 것이다. 이것을 이용해서 keyspace와 table 들을 만들 수 있고 insert와 다른 query tables 등등을 할 수 있다. graphocal tool을 원하시면 DataStax DevCenter 를 사용할 수 있다. Production을 위해서는 Datastax가 여러 driver들을 제공하기 때문에 CQL 구만은 client 에서 cluster 로 전달 되고 또 그 반대로 전달 받게 된다. 다른 관리 차원의 일들은 OpsCenter를 이용하면 된다.




Cassanddra 2.2 와 3.0을 위한 CQL 기능들


New CQL features include:

Improved CQL features include:

Removed CQL features include:

  • Removal of CQL2
  • Removal of cassandra-cli

Native protocol

The Native Protocol has been updated to version 4, with implications for CQL use in the DataStax drivers.




CQL for Cassandra 2.0 & 2.1


Cassandra 2.1 features

Cassandra 2.1 은 다음과 같은 새로운 CQL 기능을 포함한다.
* Nested user-defined types
* Improved counter columns : 카산드라가 commit log를 replay 할 때 정확한 count를 유지하기 위한 기능
* 수정 가능한 counter cache
* collenction에 대한 index 지원 기능, query result를 filter 하기 위햔 map key를 사용하기도 함
* millisecond 까지 가능한 Timestamps
* typed positional fields의 fixed-length set을 hold 하는 tuple typed

cqlsh utility도 개선된 기능들이 있다.
* operating system command line에서 CQL 구문을 받아서 처리할 수 있는 기능
* DESCRIBE 명령어를 사용해 type들을 표시해 주는 기능

DataStax Java Driver 2.0.0 은 제한적으로 Cassandra 2.1을 지원한다. 이 드라이버의 버전은 새로운 기능과 호환되지 않습니다.

다른 변화들은 이런 것들이 있습니다.
* counter column을 업데이트하기 위해 명령어에 USING TIMESTAMP나 USING TTL을 사용하는 것을 reject 합니다. 이럴 경우 카산드라는 에러 메세지를 보내게 됩니다.
* Cassandra 2.1 에서 CQL table property index_interval은 min_index_interval 과 max_index_interval로 대체됐습니다. max_index_interval 은 디폴트로 2048 입니다. 이 디폴트는 SSTable들이 불규칙적으로 읽히고 index summary memory pool이 full일 때에만 도달하게 됩니다. 이전 release에서 upgrade할 때 Cassandra는 min_index_interval에 대해 이전버전에서 사용하던 index_interval 값을 사용할겁니다.




Cassandra 2.0.x 기능들이

* INSERT와 UPDATE 구문에서 IF 키워드를 사용해 Lightweight transaction을 가능하게 한다.
* 현재 있는 테이블, 키스페이스, 인덱스등에 대해 conditional test를 실행함으로서 application error를 방지한다.
  간단히 DROP 이나 CREATE 구문에 IF EXISTSIF NOT EXISTS 를 포함하면 된다.
* 데이터베이스 클러스터 안팎에서 실행되는 이벤트들을 fire 하는 트리거를 위한 initial support 기능
* ALTER TABLE DROP command : 이전 버전에서는 제외 됐었었음
* Coulmn aliases : Select 구문에서 사용할 수 있으며 다른 RDBMS SQL의 aliase와 비슷하다.
* part, partition key 또는 Clustering columns, portion of a compound primary key 의 indexing 기능
DataStax 드라이버들은 Cassandra 2.0 을 자원한다.

Cassandra 2.0에 대한 CQL은 super column을 추천하지 않습니다. 카산드라는 CQL constructs 및 results에 즉석에서 슈퍼 컬럼을 번역하거나 쿼리하는 방법으로 계속적으로 지원하고 있습니다.

CQL Cassandra 2.0 에는 아래와 같은 cqlsh command에 변화가 있었습니다.
* ASSUME 명령어는 사라졌음. 이것 대신 blobAsType 과 typeAsBlob conversion 기능을 사용하면 됨.
* COPY 명령어가 collection도 지원하게 됨

Cassandra 2.0 에서 CQL에 다음과 같은 CQL table attribute들이 추가 됐습니다.

* default_time_to_live
* memtable_flush_period_in_ms
* populate_io_cache_on_flush
* speculative_retry




저작자 표시 비영리 동일 조건 변경 허락
신고

Key concepts and data model

2015.12.11 11:29 | Posted by 솔웅


카산드라에서 사용되는 주요 개념들 정리해 보겠습니다.


Key concepts and data model






Key concepts

The following concepts are important for understanding Cassandra:

Cluster
    A group of nodes where you store your data. In this guide, you create a single-node cluster.
   
    데이터를 저장하는 노드들의 그룹이다.

   
Replication

    The process of storing copies of data on multiple nodes to ensure reliability and fault tolerance. The number of copies is set by the replication factor.

    여러 노드들에 데이터의 복사본을 저장하는 프로세스. 이렇게 함으로서 안정성과 fault tolerance (내고장성 耐故障性)을 보장할 수 있다. 복사본의 수는 replication factor에 의해 세팅된다.

   
Partitioner

    A partitioner distributes data evenly across the nodes in the cluster for load balancing.

    partitioner는 로드발란스를 위해 클러스트에 있는 노드들에 데이터가 고르게 분산되도록 조절한다.

   
Data Center
   
    A group of related nodes configured together within a cluster for replication purposes. It is not necessarily a physical data center. In DataStax Enterprise, the term related nodes refers to the type of node: transactional, analytics, search. Each type of node must be contained in its own data center.
   
    replication을 위해 클러스트 안에 설정된 연결된 노드들의 그룹이다. 꼭 물리적인 데이터 센터로 구분될 필요는 없다. DataStax Enterprise에서는 transactional, analytics, search 등의 노드 타입과 관련된 노드들을 가리킨다. 각 노드의 타입은 속해있는 데이터 센터에 포함돼 있어야 한다.

   
Links to related information in Cassandra


   
The data model distilled


Cassandra is a partitioned row store. It is an open-source, distributed-database system that is designed for storing and managing large amounts of data across commodity servers.

카산드라는 분할된 행의 저장공간이다. 오픈소스이며 범용서버에서 대량의 데이터를 저장하고 관리하기 위해 디자인된 분산 데이터베이스 시스템이다.


You design the data model

    The design of the data model is based on the queries you want to perform, not on modelling entities and relationships like you do for relational databases.

    데이터 모델의 디자인은 실행하고자 하는 쿼리에 기반한다. modelling entity 와 relationship에 기반한 관계형데이터베이스와는 다르다.

   
Column family
   
    In general, the term Table has replaced Column family. A Cassandra database consists of column families. A column family is a set of key-value pairs. Every column family has a key and consists of columns and rows. You can think of column family as a table and a key-value pair as a record in a table.
   
    일반적으로 얘기하는 Table은 카산드라에서는 Column family 가 그 역할을 한다. 카산드라 데이터베이스는 이러한 column family들로 구성된다. column family는 key-value pair들로 구성 돼 있다. 각 column family는 key와 column/row 들로 구성돼 있다. 이 column family는 관계형데이터베이스에서의 table 이라고 생각하면 된다. 그리고 key-value pair는 테이블의 record라고 생각하면 된다.
   
    Note: In CQL 3 (the latest implementation of the Cassandra Query Language), column families are called tables. The Cassandra CLI client utility (deprecated) , API classes, and OpsCenter continue to use column family.
   
    Note : CQL3에서는 column family를 table 이라고 부른다. Cassandra CLI client utility (deprecated) , API classes, 그리고  OpsCenter 에서는 계속 column family라고 부른다.

   
Table
   
    The definition of a table depends on the version of CQL:
   
    table에 대한 정의는 CQL 버전에 의존한다.

   
        In CQL 3, a table is a collection of ordered (by name) columns.
        In previous versions of CQL, a column family was synonymous, in many respects, to a table. In CQL 3 a table is sparse, which means it only includes columns for rows that have been assigned a value.

        CQL 3에서는 name에 의해 정렬된 column들의 집합이다.
        그 이전 버전의 CQL 에서는 column family는 table 과 거의 동의어로 사용됐다. CQL 3 에서 table은 값이 할당된 row들에 대한 column들을 포함하고 있다는 의미가 들어있다.



     
Keyspaces
   
    The outermost grouping of data, similar to a schema in a relational database. All tables go inside a keyspace. Typically, a cluster has one keyspace per application.
   
    outermost grouping of data 로 관계형 데이터베이스의 Schema 와 비슷하다. 모든 테이블들은 keyspace 안에 있게 된다. 일반적으로 어플리케이션 당 하나의 클러스터는 하나의 keyspace를 갖는다.
   



http://www.slideshare.net/planetcassandra/apache-cassandra-and-datastax-enterprise-explained-with-peter-halliday-at-wildhacks-nu


위 링크로 가시면 슬라이드를 볼 수 있는데 그 중에서 나오는 개념 몇개 옮겨봅니다.


   
Snitches
   
    Snitch는 어떤 데이터센터와 rack 에 write 하고 read 할 것인지 결정한다.

   
Gossip = Internode Communications
   
    매 순간 어떤 노드와 정보를 exchange 할 것인지에 대한 peer to peer communication protocol
    카산드라는 이 gossip을 카산드라 클러스터에 있는 다른 노드들에 대한 위치와 상태정보를 알아내는데 사용한다.


Vnodes (Vertual Nodes)   

    각 노드가 single token range를 가지는 대신 Vnode는 각 노드를 많은 range (256) 로 나눈다.



그리고 회의 하다가 나온 얘긴데 Spark 을 사용하면 테이블 간 join 사용 효과를 낼 수 있다고 합니다.
   
Apache Spark

        테이블간 join 할 수 있도록 해 준다.
   

   

저작자 표시 비영리 동일 조건 변경 허락
신고

Install Cassandra 2 - Maven 설치하기

2015.12.10 10:51 | Posted by 솔웅


어제 설치하지 못한 Maven 을 설치 하려고 합니다.


http://maven.apache.org/download.cgi 로 가서 메이븐을 다운로드 합니다.



Home 이나 적당한 곳에 에 압축을 풀고 나면 이제 Path 를 지정해 줍니다.

open -e .bash_profile 로 파일을 열고 메이븐 Path 를 지정합니다.


export M2_HOME=//Users/changsoopark/Maven/apache-maven-3.3.9
export PATH=${M2_HOME}/bin:${PATH}


.bash_profile 이 없으면touch .bash_profile로생성하면됩니다.


그러면 설치가 다 끝난거구요.


어제 다운 받았던 playlist 폴더로 가서

$ mvn verify

이렇게 입력하세요.

그러면 아래와 같이 dependencies 들을 다운 받을 겁니다.




이러면 어제 못했던 마무리를 다 한거네요.

이제 다음 단계를 공부할 차례네요.

저작자 표시 비영리 동일 조건 변경 허락
신고

Install Cassandra 카산드라 설치하기

2015.12.09 11:15 | Posted by 솔웅


카산드라를 설치하고 환경설정을 할 겁니다.

http://docs.datastax.com/en/playlist/doc/java/playlistSettingUp.html


그 전에 필요한 소프트웨어들이 미리 설치돼 있어야 합니다.



Required software 

The following software is required to build and run the Playlist tutorial example application:

저는 제 맥북에 설치해 보려고 합니다.


카산드라 설치하기


1. Download here

2. 다운로드 받은 dmg 파일을 더블 클릭한 후 아래 가이드 대로 진행한다.


Screen - Panel Recommendations and additional information
Setup Welcome page.
License Agreement DataStax Enterprise End User License Agreement
Install Options
Server Installation Directory

Linux: By default, DataStax Enterprise is installed in the /home/user/dse directory.

Mac OS X: By default, DataStax Enterprise is installed in the /usr/share/dse/ directory.

If you use the No Services option, you can change the location of the dse directory. If you install as a service, DataStax Enterprise can only be installed in the /usr/share/dse directory.

Install Type

Use Simple Install.

Installs DataStax Enterprise with the default path names and options.

Update System Updates some system packages and dependencies. Does not upgrade or install major components such as Oracle Java. Set to No unless you have root or sudo access.
Default Interface

Select 127.0.0.1.

Network interface for the DataStax Enterprise server.

Service Setup

Select No Services - installs the DataStax Enterprise server as a stand-alone process.

Start Services After Install

Select No.

A non-root install doesn't use services.

Node Setup
Node Type

Select Cassandra Node.

The following types of nodes are available:
Ring Name Use the default name or enter a name of your choice.
Seeds

Select 127.0.0.1.

Cassandra nodes use the seed node list for finding each other and learning the topology of the ring.

Setup
DataStax Agent

Select OpsCenter Address: 127.0.0.1.

The agent provides an interface between DataStax OpsCenter and DataStax Enterprise.

System Configuration Configuration overview and warnings about potential issues.
Ready to Install The install wizard installs the software.
Setup finish Post-installation tasks. To see the Pre-flight check results, select View Configuration Recommendations And Warnings




설치가 끝나면 바탕화면에 DataStax Enterprise shortcut 이 생깁니다.



이 shortcut 안으로 들어가면 start_cassandra , start_datastax_agent 를 포함해 여러가지 실행 파일들이 있습니다.



이렇게 하면 간단하게 카산드라 설치가 끝납니다.



터미널을 실행해서 카산드라가 설치된 폴더로 이동합니다.

숏컷을 실행하면 해당 폴더를 알 수 있습니다.


그 폴더에서 bin 폴더 안으로 들어갑니다.


그곳에서 아래와 같이 명령어를 칩니다.

(그 전에 숏컷에서 start_datastax_agent 를 실행해야 합니다.)


./nodetool status


그러면 아래와 같은 화면을 보실 수 있습니다.



이렇게 되면 DataStax Enterprise 이 실행중 이라는 얘기입니다.


이제 Playlist example code 를 받으려면 아래와 같이 받습니다.

$ git clone https://github.com/DataStaxDocs/playlist.git


그 다음 example application's dependencies 를 다운받으려면 메이븐을 사용해야 하는데 제 컴에 아직 메이븐을 설치하지 않아서 안 되네요.

$ cd playlist
$ mvn verify

이 부분은 메이븐을 설치한 다음에 시도해 봐야겠습니다.



저작자 표시 비영리 동일 조건 변경 허락
신고
이전 1 다음