반응형
블로그 이미지
개발자로서 현장에서 일하면서 새로 접하는 기술들이나 알게된 정보 등을 정리하기 위한 블로그입니다. 운 좋게 미국에서 큰 회사들의 프로젝트에서 컬설턴트로 일하고 있어서 새로운 기술들을 접할 기회가 많이 있습니다. 미국의 IT 프로젝트에서 사용되는 툴들에 대해 많은 분들과 정보를 공유하고 싶습니다.
솔웅

최근에 올라온 글

최근에 달린 댓글

최근에 받은 트랙백

글 보관함

카테고리


반응형

Composite Partition Key



composite partition key를 가지고 있는 테이블에 대해 카산드라는 partition key로 여러개의 컬럼을 사용한다. 이 컬럼들은 retrieval (검색)을 용이하게 하기 위해 partition 안에 logical set들을 구성한다. simple partition key와는 다르게 composite partition key는 어디에 데이터가 자리잡을지를 정하기 위해 두개 이상의 컬럼들을 사용한다. Composite partition key들은 single partition에 들어가기엔 데이터가 너무 클 경우 사용된다. partition key에 대해 한개 이상의 컬럼을 사용하는 것은 데이터를 chunks 나 bucket들로 파편화하게 된다. 이 데이터는 group 화 되어 있지만 더 작은 chunk들로 구성되게 된다. 이 방법은 Cassandra cluster 가 hotspotting 이거나 하나의 node에 집중적이고 반복적으로 데이터를 write 하는 경우에 유용하게 사용할 수 있다. 왜냐하면 이 경우 하나의 partition에 아주 집중적으로 writing이 이뤄질 것이기 때문이다. Cassandra는 종종 time series data를 사용하는 경우가 있고 hotspotting 이 문제화 될 수 있다. 입력되는 데이터를 bucket들에 파편화 할 때 년:월:일:시 이 4개의 컬럼을 기반으로 나뉘어지게 되는데 이럼으로서 partition에 hotspot을 줄일 수 있게 됩니다.

데이터는 partition key를 사용해서 검색 (retrieve) 하게 됩니다. 테이블에서 데이터를 검색하기 위해서는 모든 컬럼들의 값들이 partition key안에 정의 되어 있어야 합니다. (만약 secondary index 가 사용되지 않을 경우). 아래 race_year, race_name 테이블은 composition partition key로 된 primary key 안에 있습니다. 데이터를 검색하기 위해서는 두 파라미터 모두가 identify 되어야 합니다.




Composit partition key를 가지고 있는 테이블을 생성하려면 아래와 같이 하면 된다.

    CREATE TABLE 구문의 마지막에 쉼표를 넣고 PRIMARY KEY 라는 키워드를 입력한다. 그리고 그 다음에 partition key 의 컬럼 이름을 넣는다. Composite partition key인 컬럼 이름은 double parentheses(이중 괄호) 안에 넣습니다.

카산드라는 데이터의 전체 row를 partition key 에 따라서 node 에 저장합니다. 만약 하나의 partition에 너무 많은 데이터가 있다면 그리고 그 데이터들을 여러개의 노드들에 분산시키기를 원한다면 composite partition key를 사용합니다.



Using a composite partition key

쿼리를 실행시킬 때 결과를 정렬 시켜야 되는 컬럼이 있다면 이 컬럼을 만들 때 primary key 안에 이 composite partition key를 사용하세요. 아래 예제는  rank_by_year_and_name 이라는 테이블을 만듭니다. 여기에는 레이스에서 이긴 사이클 선수의 순위와 이름이 저장될 겁니다. 이 테이블은 primary key의 composition partition key 로 정의된 컬럼으로 race_year 와 race_name을 사용하고 있습니다. 쿼리는 year와 race name 값을 사용해서 레이스에서 우승한 사이클 선수의 순위를 알아내는데 사용됩니다.

composite partition key 테이블은 아래와 같이 두가지 방법으로 생성할 수 있습니다.



Procedure

    * cycling 키스페이스에 rank_by_year_and_name 이라는 테이블을 생성합니다. composite partition key 로 race_year 와 race_name을 사용합니다. 이 테이블에는 primary key로 사용하는 컬럼인 rank 가 있습니다. 테이블을 만들기 전에, USE 구문을 사용해서 해당 키스페이스로 들어가세요. 이 예제에는 맨 마지막에 primary key 를 정의 합니다. PRIMARY KEY 에서 이중괄호를 사용한 것을 기억하시기 바랍니다.

    cqlsh> USE cycling;
    CREATE TABLE rank_by_year_and_name (
    race_year int,
    race_name text,
    cyclist_name text,
    rank int,
    PRIMARY KEY ((race_year, race_name), rank)
    );




  

USE 구문을 생성해서 해당 키스페이스 안에 들어가는것 대신에 CREATE TABLE 구문에서 키스페이스 이름을 사용함으로서 해당 키스페이스에 테이블을 만들 수 있습니다.

    cqlsh> CREATE TABLE cycling.rank_by_year_and_name (
    race_year int,
    race_name text,
    cyclist_name text,
    rank int,
    PRIMARY KEY ((race_year, race_name), rank)
    );



Compound Primary Key



compound primary key를 가지고 있는 테이블을 만들려면 simple 이나 composite partition key를 사용합니다. 거기에 추가로 clustering 컬럼들을 정의하게 됩니다. Clustering 은 clustering 컬럼들을 정의한 것에 근거해 각 partition 안에 데이터들을 정렬하는 storage engine process 입니다. 대개 컬럼들은 알파벳 오름차순으로 정렬 됩니다. 일반적으로 데이터들의 different grouping은 simplistic choice 보다 더 좋은 read 와 write 결과를 가져오게 됩니다.

데이터는 Cassandra cluster 전체에 걸쳐 distributed 된다는 것을 기억해 두세요. 만약 적은 데이터를 얻기 위해 전체 partition을 read 해야만 한다면 어플리케이션은 large partition으로부터 데이터를 검색해야 하는 부담을 갖게 될 것입니다. physical node 에서 partition key 에 대한 row들이 clustering column들에 근거해 정렬돼 저장됐다면 row들을 검색하는게 아주 효율적일 겁니다. clustering column을 사용하는 테이블내에서 데이터를 그룹핑하는 것은 관계형 데이터베이스의 JOIN 과 비슷하면서 오직 한개의 테이블만 사용하게 됨으로서 훨씬 좋은 performance를 보여줍니다. 이 테이블은 partition key로서 category를 사용하고 clustering column으로서 points를 사용합니다. 각각의 category에 대해 point들은 내림차순으로 정렬된다는 것을 기억해 두세요.



partition으로부터 데이터를 검색하는 것은 clustering column들과 함께 다용도로 사용됩니다. 위 예제를 예로 들면 one-day-races 에 대해 200보다 큰 point 값들을 검색할수 있습니다.

compound primary key를 가지고 있는 테이블을 생성하려면 아래와 같이 합니다.

    * CREATE TABLE 구문의 마지막 컬럼 다음에 PRIMARY KEY 키워드를 넣고 그 키의 column 이름을 넣습니다. 그 컬럼 이름은 괄호로 감싸게 됩니다.



Using a compound primary key

정렬된 결과를 받는 쿼리를 사용할 컬럼을 생성할 때 compound primary key를 사용합니다. 만약 pro cycling 예제가 관계형 데이터베이스용으로 디자인 된다면 races 테이블에 대해 cyclists 테이블에 foreign key를 만들에 서로 관계를 맺게 할 겁니다. 카산드라에서는 이 데이터를 denormalize 하게 됩니다. 왜냐하면 distributed system 에서는 JOIN 은 그렇게 좋은 퍼포먼스를 보여주지 못하기 때문입니다. 이후에 카산드라에서 퍼포먼스를 향상시키기 위해 사용하는 다른 schema를 보게 될 겁니다. Collections와 indexes 는 두개의 데이터 모델링 방법입니다. 아래 예제는 각 race category 에 대해 사이클 선수의 성과 ID, points 가 저장되는 cyclist_category 테이블을 생성합니다. 이 테이블은 partition key로 category를 사용하고 single clustering column으로는 points를 사용합니다. 이 테이블은 points로 정렬된 결과를 검색할 수 있습니다. 검색 내용은 하나의 카테고리 안에 사이클 선수와 그들의 points 리스트가 될 겁니다.

compound primary key 테이블은 아래와 같이 두가지 방법으로 생성할 수 있습니다.



Procedure

    * Compound primary key 를 가지고 있는 table을 만들려면 두개 이상의 primary key를 사용합니다. 이 예제에서는 points에 대해 내림차순으로 보기 위해 WITH CLUSTERING ORDER BY라는 추가적인 절을 사용하고 있습니다. 오름차순이 저장하기에는 좀 더 효율적입니다. 하지만 storage engine의 특성상 내림차순이 더 빠릅니다.

    cqlsh> USE cycling;
    CREATE TABLE cyclist_category (
    category text,
    points int,
    id UUID,
    lastname text,    
    PRIMARY KEY (category, points)
    ) WITH CLUSTERING ORDER BY (points DESC);





    USE 구문을 사용해서 해당 키스페이스 안에 들어가지 않고 테이블을 만들려면 keyspace 이름을 아래와 같이 명시해 주면 됩니다.

    cqlsh> CREATE TABLE cycling.cyclist_category (
    category text,
    points int,
    id UUID,
    lastname text,    
    PRIMARY KEY (category, points)
    ) WITH CLUSTERING ORDER BY (points DESC);

    Note: category와 points의 조합은 cyclist_category 테이블내에서 row를 구별해 주는 unique 한 구분 방법입니다. 같은 category에 대해 한개 이상의 row들이 존재할 수 있는데 이 경우 row들은 다른 points 값을 가지고 있는 경우 일 겁니다. 위 예제를 다시 보세요. 이 데이터를 저장하기 위한 최적화 된 데이터 모델링 인가요? 어떤 condition들이 에러를 유발할 수 있을 까요?



Creating a counter table



Counter는 여러 데이터 모델들에 유용합니다. 예를 들어, 어느 회사에서 회사 홈페이지의 웹페이지 뷰 숫자를 하는 경우 혹은 Scorekeeping 어플리케이션은 온라인으로 현재 게임하는 유저의 숫자를 저장하거나 게임에 접속한 유저의 숫자를 저장하기 위해 counter를 사용할 수 있을 겁니다. 아래 테이블은 id를 primary key로 하고 counter 테이블의 popularity필드에 thumbs up/down 에 근거한 cyclist의 popularity 를 관리하는데 counter 가 사용됨을 보여 줍니다.



distributed database의 Tracking count를 살펴보는 건 흥미로운 일입니다. 카산드라에서는 counter value는 Memtable 안에 위치할 것입니다. 그리고 특정 시기에 한개 이상의 SSTable에 commit 하게 됩니다. 노드들 사이에서 replication (응답) 하는 것은 특정 상황에서 consistency 문제를 야기시킬 수 있습니다. 카산드라의 counter는 counter의 기능을 개선하기 위해 Cassandra 2.1 에서 redesign 됐습니다.다. 그 내용을 자세히 보려면 "What’s New in Cassandra 2.1: Better Implementation of Counters" 를 보세요.

counter는 증가되는 숫자를 저장하기 위한 특별한 column 입니다. counter는 integer 값을 가지면 오름차순/내림차순으로 사용할 수 있습니다. counter는 다른 컬럼들에서 서로 다르게 구현될 수 있기 때문에 counter 컬럼들은 dedicated table에서만 정의 될 수 있습니다.

카산드라 2.1 이상에서는 cassandra.yaml 파일에 여러 counter-related setting을 configure 할 수 있습니다.


Note : 카산드라 2.0.x 에서 사용한 replicate_on_write 테이블 프로퍼티는 카산드라 2.1 에서는 사용하지 않습니다.

counter 컬럼은 index 되거나 delete 될 수 없습니다. counter 컬럼에 데이터를 로드하기 위해서는 혹은 counter의 값을 증가/감소 시키기 위해서는 UPDATE command를 사용합니다. Cassandra는 counter 컬럼을 업데이트 할 때 USING TIMESTAMP 나 USING TTL 은 reject 합니다.

counter 컬럼을 가지고 있는 테이블을 생성하기 위해서는 이렇게 하면 됩니다.

    * counter 와 non-counter 컬럼들을 정의하기 위한 CREATE TABLE을 사용하는데 PRIMARY KEY 정의 하는 일 부분으로 non-counter column들을 사용합니다.




Using a counter

counter 컬럼에 데이터를 로드하기 위해서 혹은 counter 값을 증가/감소시키기 위해서는 UPDATE 명령어를 사용합니다. Cassandra는 counter 컬럼을 업데이트 할 때 USING TIMESTAMP 나 USING TTL 은 reject 합니다.



Procedure

    * counter column을 갖는 테이블 생성.

    cqlsh> USE cycling;
    CREATE TABLE popular_count (
      id UUID PRIMARY KEY,
      popularity counter
      );





    * counter column에 데이터를 로딩하는 방법은 다른 테이블과 좀 다릅니다. 해당 데이터는 insert 되는 것이 아니라 update 된다.

    UPDATE cycling.popular_count
     SET popularity = popularity + 1
     WHERE id = 6ab09bec-e68e-48d9-a5f8-97e6fb4c9b47;

    * counter value를 잘 살펴보세요. popularity 가 1의 값을 가지고 있는 부분을 잘 보세요.


    SELECT * FROM cycling.popular_count;





    * 추가적인 증가/감소는 counter column의 value를 바꿀 겁니다.




Create table with COMPACT STORAGE

테이블을 생성하면서 compound primary key를 할 때 저장된 모든 데이터에 대해 그것과 함께 column 이름이 저장될 필요가 있습니다. 디스크에 하나의 컬럼으로서 각 컬럼에 대응하는 저장된 각각의 non-primary key 컬럼 대신에 디스크에 전체 row를 한개의 컬럼에 저장합니다. 디스크 공간을 절약해야 할 경우 WITH COMPACT STORAGE를 사용합니다. 그러면 legacy (Thrift) storage engine format 으로 데이터를 저장합니다.

CREATE TABLE sblocks (
  block_id uuid,
  subblock_id uuid,
  data blob,
  PRIMARY KEY (block_id, subblock_id)
)
WITH COMPACT STORAGE;





Compact storage 를 사용하면 compount primary key가 아닌 한개 이상의 컬럼을 정의해야 되는것을 막아 줍니다. compact 되지 않은 primary key를 사용하는 compact table은 primary key 가 아닌 여러개의 컬럼들을 가질 수 있습니다.

compound primary key를 사용하는 compact table은 적어도 한개 이상의 clustering 컬럼을 정의 해야만 합니다. compact table이 생성되고 나면 컬럼들은 추가되거나 제거될 수 없습니다. WITH COMPACT STORAGE 를 사용하지 않으면 CQL은 non-compact storage로 테이블을 생성합니다.

Collection과 static 컬럼들은 COMPACT STORAGE tables 에 사용될 수 없습니다.



Table schema collision fix

Dynamic schema 생성이나 update는 에러를 유발하는 schema collision 을 발생 시킬 수 있습니다.

Procedure

    1. schema match를 위해 모든 노드에서 전체적으로 재 시작을 합니다. 모든 노드가 있는 클러스터에서 nodetool을 실행합니다. 그리고 한개의 schema 버전이 있는지 확인합니다.

    2.각 노드에서 - data directory 를 체크 한다. - 질문에 해당하는 테이블에 대한 두개의 디렉토리를 찾는다. 만약 한개의 디렉토리만 있다면 다음 노드로 이동한다. 만약에 그 노드에 두개 이상의 디렉토리가 있다면 오래된 테이블 디렉토리는 업데이트 이전것이고 새것은 update 이후를 위한 것이다. 다음으로 간다.

    $ cqlsh -e "SELECT * FROM system.schema_column_families" |grep <tablename>

    3. 어떤 cf_id (column family ID) 가 system.schema_columnfamilies 의 최신 테이블 ID 인지 찾는다. 이 column family ID는 결과의 5번째 컬럼이다.
   
    Move the data from the older table to the newer table's directory and remove the old directory. Repeat this step as necessary.
    4. 이전 테이블의 데이터를 최근 테이블의 디렉토리로 옮기고 이전 디렉토리는 지운다. 이 작업을 다른 노드들에서도 계속 반복한다.

    5. nodetool refresh 를 실행한다.

반응형


반응형

Creating a table


CQL 에서는 SQL 과 마찬가지로 컬럼의 row들을 가지고 있는 테이블들에 데이터가 저장된다.

Note: 카산드라 내부에서 구현되는 row와 column (행과 열) 들은 SQL 과 똑같지 않다. 좀 더 자세한 내용은 A thrift to CQL3 upgrade guide or CQL3 for Cassandra experts 를 보세요.

테이블은 runtime 시 업데이트나 쿼리를 block 하지 않으면서 create, drop, alter 될 수 있다. 테이블을 생성할 때 primary key와 컬럼들을 테이블 property들과 함께 정의한다. 테이블 프로퍼티를 configure 하기 위해서는 optional로 WITH clause와 keyword argument들을 사용한다. "caching, compaction, and other operations" 테이블 프로퍼티들은 테이블 세팅처럼 테이블별로 특정된다.


Create schema using cqlsh

cqlsh 를 사용해서 테이블 스키마를 생성한다. Dynamic 하게 schema를 생성 하는것은 지원되지 않는다. 만약 여러 client들이 동시에 테이블을 generate 하기 위한 시도가 있을 경우 collision 이 생길 수도 있다. 만약 이렇게 collision이 일어날 경우 해결하는 방법은 schema collision fix instructions를 보면 나와있다.

Primary Key

primary key는 data storagy은 순서와 위치를 지정한다. 이 primary key는 테이블이 생성될 때 정의되고 alter 되지 않는다. 만약 primary key 의 변경이 필요하면 새로운 table schema를 생성하고 그 새로운 테이블에 데이터를 입력해야 한다. 카산드라는 어떤 node가 특정 테이블 row를 hold 할 것인가를 식별하는 partition row store, partition key, primary key 의 component 이다. 테이블 생성 이후에 그 테이블을 alter 하는 자세한 방법은 ALTER TABLE 을 보라.

프라이머리 키는 반드시 partition key를 가져야 한다. Composite partition key는 data set을 split 할 수 있다. 그래서 관련된 데이터가 각각의 partition들에 분산되서 저장된다. Compound primary key는 partition에 data를 order 한 clustering column을 포함한다.

테이블의 primary key를 정의하는 것은 카산드라에서는 아주 중요한 부분이다. 어떤 컬럼이 primary key 가 될 것인지 정의하기 이전에 데이터가 테이블에 어떻게 insert되고 retrive 될 것인지를 충분히 고려한 후 모델링을 해야 한다. 클러스터의 노드들 사이에서의 partition들의 size, partition안의 데이터의 순서, partition들의 distribution 이런 것들은 테이블에 대한 베스트 primary key를 결정하기 위해 고려되어야 할 사항들이다.


Table characteristics


테이블 이름으로는 알파벳 문자로 이뤄진 string과 밑줄 (맨처음은 안 됨)을 사용할 수 있다. 테이블 이름을 정할 때

    다른 keyspace에 테이블을 생성할 경우.  keyspace 이름과 table 이름을 구분하기 위해 . (점)을 사용한다. 이렇게 하면 다른 키스페이스에 있더라도 원하는 키스페이스에 해당 테이블을 생성할 수 있다.
    현재 위치한 키스페이스를 사용할 경우. 테이블 이름만 명시하면 된다.

Column characteristics

컬럼은 CQL table의 중요한 component 이다. 테이블 스키마를 디자인하는데 유연성을 주기위해 여러개의 컬럼 타입들이 존재한다. 테이블 내의 각각의 컬럼은 테이블을 생성할 때 데이터 타입을 할당하게 된다. 컬럼 타입들은 collection-type 컬럼을 제외하고는 괄호를 사용해서 표시하고 컬럼이름과 type 의 쌍은 쉼표로 구분된다. 다음 예제는 UUID, text 그리고 timestamp 등 세개의 데이터 타입을 사용한다.

CREATE TABLE cycling.cyclist_alt_stats ( id UUID PRIMARY KEY, lastname text, birthday timestamp, nationality text, weight text, height text );





Collection column 타입은 map, set, list를 지원한다. 이 컬렉션 컬럼은 collection type을 사용해서 정의되고 그 다음에 꺽쇠 괄호 안에 int나 text 등의 다른 타입이 온다. 다음 예제는 각 collection type을 지정한다. 하지만 실제 쿼리를 위해 디자인 하는 것은 아니다.

CREATE TABLE cycling.whimsey ( id UUID PRIMARY KEY, lastname text, cyclist_teams set<text>, events list<text>, teams map<int,text> );





현재로서는 Collection type은 nest 될 수 없다. (collection 안의 또 다른 collection은 불가능하다.) Collection은 frozen data type을 포함할 수 있습니다. 그 사용예와 사용법을 보시려면  Collection type 을 보세요.
컬럼 타입인 tuple 데이터 타입은 입력된 positional field의 고정된 length 값을 가진다. tuple을 사용저 정의 타입의 대안으로 사용한다. tuple은 많은 field (32768)들을 가질 수 있다. 대개 tuple은 적은 수의 field로 생성한다. tuple은 대개 2~5 개 필드들에 사용된다. 테이블에 tuple을 생성하려면 꺽쇠 괄호를 사용한다. 그리고 tuple component type을 정의하기 위해 쉼표로 구분한다. Tuple은 nest 될 수 있다. (Tuple 안에 또 다른 Tuple을 만들 수 있다.) 다음 예제는 text 필드로 구성되고 또 그 안에 두개의 float 필드들이 있는 tuple 타입을 만드는 것을 보여 준다.

CREATE TABLE cycling.route (race_id int, race_name text, point_id int, lat_long tuple<text, tuple<float,float>>, PRIMARY KEY (race_id, point_id));





Note : 카산드라 2.1.0 에서 2.1.2 까지는 tuple을 위해 frozen을 사용해야 한다. 2.1.3 이상의 버전에서는 이 keyword가 꼭 필요하지는 않다.

frozen <tuple <int, tuple<text, double>>>

좀 더 자세한 정보는 "Tuple type" 을 보세요.

사용자 정의 타입 (UDTs)은 여러 필드들의 데이터 타입이 CREATE TYPE 을 사용해 생성할 때 컬럼 타입으로 사용될 수 있다. UDT는 여러 테이블 정의에서 사용되어질 컬럼 타입일 경우 사용된다. 사용자 정의 컬럼 타입은 frozen 키워드를 사용한다. frozen 은 여러 컴포넌트들을 하나의 value로 serializes 한다. Non-frozen type은 개별적인 필드에 대해 update할 수 있도록 한다. 카산드라는 frozen type의 value를 blob로 처리한다. keyspace의 scope : 키스페이스 이름 다음에 점을 찍고 타입의 이름을 사용한다. 이렇게 하면 (점을 사용하면) 카산드라는 해당 키스페이스의 타입에 접근하면서도 현재의 키스페이스를 바꾸지는 않는다. 다른 방법으로 키스페이스를 특정 하지 않으면 카산드라는 현재의 키스페이스 내에서 작업할 것이다. 자세한 사항은 "Using a user-defined type" 를 보라.

counter는 점차 증가하는 숫자를 저장하는데 사용되는 특별한 컬럼이다. countercounter data type 컬럼을 포함하고 있는 dedicated table에만 사용될 수 있다.



Using the keyspace qualifier

가끔 키스페이스를 선택하기 위해 USE 구문을 사용하는 것이 불편할 때가 있다. Connection pooling 은 여러개의 키스페이스를 관리해야 한다. 여러 키스페이스를 tracking 하는 것을 간편화하기 위해 USE 구문 대신에 keyspace  qualifier 를 사용한다. 이 statement들에 keyspace qualifier를 사용해서 키스페이스를 특정할 수 있다.

    ALTER TABLE
    CREATE TABLE
    DELETE
    INSERT
    SELECT
    TRUNCATE
    UPDATE

Procedure


사용할 키스페이스에 있지 않으면서 그 키스페이스 내의 테이블을 특정하려면 그 키스페이스 이름을 적고 그 다음에 점을 찍고 그리고 테이블 이름을 명시한다.
예를 들어 cycling.race_winners 이렇게 하면 cycling 키스페이스 안의 race_winners 테이블을 명시하는 것이다.

cqlsh> INSERT INTO cycling.race_winners ( race_name, race_position, cyclist_name ) VALUES (
  'National Championships South Africa WJ-ITT (CN)',
  1,
  {firstname:'Frances',lastname:'DU TOUT'}
);


Simple Primary Key

간단한 프라이머리 키를 가지고 있는 테이블에 대해 카산드라는 partition key로서 한개의 column name을 사용한다. 이 primary key는 이 경우 오직 한개의 partition key만을 갖게 되는 것이다. 만약 많은 양의 데이터가 사용되고 -프라이머리 키가 정의된 컬럼에 대해 적은 value만이 insert 되는 경우- 그 partition은 더 커지게 된다. Large partition은 read request에 대해 반응 속도가 느리거나 노드의 할당된 디스크공간에 대해 너무 크게 증가할 것이다. 다른 한편으로는 간단한 프라이머리 키에 저장된 데이터는 insert 와 retrieve시 속도가 빠를 것이다. 만약 해당 컬럼에 대해 많은 value들이 여러 노드에 걸쳐 partition들이 distribute 될 경우 더 효과적일 것이다.

가끔 카산드라를 사용할 때 부딪히는 첫번째 어려움에는 simple primary key를 가지고 있는 테이블과 관련된 일도 포함된다. 오직 해당 primary key만이 테이블에서 데이터를 retrieve 할 때 명시되어야 한다는 것을 명심하라. (secondary index가 사용되지 않을 경우.) 많은 production table들이 simple primary key 같은 unique identifier 들을 사용한다. 이런 identifier를 살펴보고 테이블의 나머지 데이터를 retrive 하라. 만약 어플리케이션이 simple lookup table이 필요하면 simple primary key를 사용하라. 그 테이블은 primary key로 id를 사용할 것이다.



To create a table having a single primary key, two methods can be used:
single primary key를 가지고 있는 테이블을 생성할 때 두가지 방법을 사용할 수 있다.

   
    CREATE TABLE definition 안의 컬럼 이름 다음에 PRIMARY KEY 라는 키워드를 넣는다.
    CREAET TABLE definition 안의 마지막 컬럼 정의 이후에 PRIMARY KEY 라는 키워드를 넣는다. 그 다음에 그 키의 컬럼 이름을 명시하면 된다. 그 컬럼 이름은 괄호 안에 넣는다.



Using a simple primary key


정렬된 결과를 return 하도록 하는 쿼리에 사용될 컬럼을 생성하기 위해 simple primary key를 사용한다. 이 예제는 ID number 가 저장된 cyclist_name 테이블을 생성한다. 그리고 컬럼들에는 사이클 선수의 이름과 성이 들어간다. 이 테이블은 primary key로 UUID 를 사용한다. 이 테이블은 해당 ID number에 해당하는 사이클 선수의 이름을 찾을 때 사용될 수 있다.


simple primary key 테이블 생성 방법은 다음과 같이 3가지가 있다.

Procedure

    cycling 키스페이스안에 cyclist_name이라는 테이블을 생성한다. primary key로 ID를 사용한다. 이 테이블을 생성하기 이전에 USE 구문으로 해당 키스페이스로 들어간다.

    cqlsh> USE cycling;
    CREATE TABLE cyclist_name ( id UUID PRIMARY KEY, lastname text, firstname text );





    테이블 definition 끝에 primary key 를 지정함으로서 똑같은 결과를 얻을 수 있다.

    cqlsh> USE cycling;
    CREATE TABLE cyclist_name ( id UUID, lastname text, firstname text, PRIMARY KEY (id) );

    USE 구문을 사용하지 않고 키스페이스 이름을 명시함으로서 해당 키스페이스에 테이블을 사용할 수 있다.

    cqlsh> CREATE TABLE cycling.cyclist_name ( id UUID, lastname text, firstname text, PRIMARY KEY (id) );

    Cassandra 2.2 이상 버전에서는 date 나 time data type을 사용할 수 있다.

    CREATE TABLE cycling.birthdays (id UUID PRIMARY KEY, bday date, btime time);



제가 설치한 카산드라에서 이 구문을 실행했더니 위와 같은 에러가 나오네요.


그래서 카산드라 버전을 확인해 봤습니다.


select peer, release_version from system.peers;
select release_version from system.local;




역시나 제가 설치한 카산드라 버전은 2.1.11.969 이네요.


여기까지 테이블 생성 관련해서 Simple Primary Key 까지 공부했습니다.


다음은 테이블 생성이 나머지 부분을 공부해 보겠습니다.

반응형

아파치 카산드라 - CQL 실습 1 keyspace

2015. 12. 21. 08:27 | Posted by 솔웅


반응형


오늘은 keyspace와 관련해서 리스트업 해보고 생성하고 업데이트 하는 것에 대해 공부해 보겠습니다.


Creating and updating a keyspace


CQL에서 keyspace를 생성하는 것은 SQL database를 생성하는 것과 비슷하지만 약간 다르다. Cassandra keyspace는 namespace로서 어떻게 node들에 데이터가 replicate (복제)될 것인가를 정의하는 것이다. 일반적으로 어플리케이션 당 한개의 cluster는 한개의 keyspace 를 가지고 있다. Replication은 keyspace별로 컨트롤 된다. 다른 replication을 가진 데이터는 다른 keyspace에 있어야 한다. 키스페이스는 데이터모델안에서 significant map layer로서 사용되도록 디자인되지 않았다.

키스페이스를 생성할 때, replicating keyspace를 위해 특정 strategy class를 명시해야 한다. SimpleStrategy 클래스는 카산드라를 evaluating할 때 좋다. 실제 프로덕션용이나 mixed workloads들을 위해서는 NetworkTopologyStrategy 클래스를 사용하는 것이 좋다.

NetworkTopologyStrategy를 예를 들어 single node cluster 같은 evaluating 목적으로 사용하기 위해서는 default data center name 이 사용된다. NetworkTopologyStrategy 를 프로덕션용으로 사용할 때에는, default snitch 인 SimpleSnitch를 network-aware snitch (네트워크에서 사용되는 snitch) 로 바꿔야 한다. 한개 이상의 데이터 센트 이름을 snitch property 파일에 정의하고 그 데이터 센터 이름을 keyspace를 정의할 때 사용해야 한다. Snitch 부분을 보세요. 만약 cluster 가 PropertyFileSnitch를 사용한다면 keyspace를 생성할 때 user-defined data center와 rack name을 cassandra-topologies.properties 파일에서 사용한다. 만약 cluster 가 Ec2Snitch를 사용한다면 키스페이스를 EC2 data center 와 rack 이름을 사용해서 생성한다. 만약 cluster가 GoogleCloudSnitch를 사용한다면 키스페이스를 GoogleCloud data center와 rack name을 사용해서 생성한다.

만약 default snitch를 바꾸고 NetworkTopologyStrategy를 사용하는데 실패하면 카산드라는 write request를 수행하지 못할 것이다. (예를 들어 데이터를 테이블에 insert 하는 것 같은...) 그리고 이런 에러 메세지를 log 할 것이다.

Unable to complete request: one or more nodes were unavailable.

데이터 센터 이름을 snitch property 파일에 정의하거나 datacenter1이라는 single data center 를 사용하지 않는 한 NetworkTopologyStrategy 를 사용하는 keyspace 에서는 table 에 데이터를 insert 할 수 없다.




CQL 을 한번 실습해 보겠습니다.

우선 다운 받은 Datastax Enterprise 에서 start_cassandra 를 더블 클릭해서 카산들를 실행합니다.

그리고 커맨드 창을 열어서 cqlsh 를 실행합니다.

그러면 위 화면과 같이 cqlsh 가 실행됩니다.



이제 전체 keyspace가 어떤게 있는지 보겠습니다.

select * from system.schema_keyspaces;


보니까 기본적으로 4개의 키스페이스가 있네요.

첫번째 키스페이스의 구조를 한번 보겠습니다.


desc dse_system;

이러면 해당 키스페이스의 구조를 볼 수 있습니다.



특정 키스페이스를 사용하시려면 이렇게 합니다.

use des_system;


그리고 이 keyspace 에 있는 column family들을 보려면 이렇게 합니다.


select * from system.schema_columnfamilies;


너무 복잡하니까 컬럼패밀리 이름들만 출력해 볼까요?





select columnfamily_name from system.schema_columnfamilies;


그리고 특정 컬럼패밀리의 구조를 보시려면 desc encryped_keys 를 하시면 됩니다.


참고로 use 'keyspace' 를 하지 않은 상태에서 특정 키스페이스 안의 컬럼패밀리들을 보려면 where절을 넣으시면 됩니다.

select columnfamily_name from syste.schema_columnfamilies where keyspace_name = '키스페이스';


desc tables; 라고 하면 현재 키스페이스 내의 테이블들을 보실 수 있습니다.



이제 keyspace를 생성해 보겠습니다.

CREATE KEYSPACE demodb WITH REPLICATION =
 { 'class' : 'NetworkTopologyStrategy', 'datacenter1' : 3 };



생성된 키스페이스를 확인하기 위해 아래 두개의 쿼리를 이용했습니다.


select * from system.schema_keyspaces; , describe keyspaces;


Datastax 의 최신 버전 CQL Tutorial 페이지에서는 cycling 이라는 키스페이스를 생성했네요.

그래서 그 키스페이스도 생성해 보았습니다.


CREATE KEYSPACE IF NOT EXISTS cycling WITH REPLICATION 
= {
'class' : 'NetworkTopologyStrategy', 'datacenter1' : 3 };


use cycling; , desc cycling; 을 해 보았습니다.


이제 이 키스페이스를 업데이트 해 보겠습니다.


Updating the replication factor


replication factor를 증가시키면 카산드라 클러스터에 저장된 keyspace data 의 copy 의

tatal number 가 증가된다. security feature를 사용한다면 default(1) 에서부터

system_auth 키스페이스의 replication factor 를 증가시키는 것이 중요하다.

왜냐하면 node 의 그 유일한 replication이 다운되면 더이상 클러스터에 log를 할 수 없기 때문이다.

system_auth 키스페이스에는 각 데이터 센터별 node 의 갯수 만큼 replication factor를

세팅하는 것이 권장된다.




ALTER KEYSPACE "cycling" WITH REPLICATION

= { 'class' : 'SimpleStrategy', 'replication_factor' : 3 };





반응형