문제점

사용자에게 10~20초안에 결과를 보여주고 싶은데

10분~20분정도 소요됨

(데이터가 일별 2500만건정도 있음)

(전체 데이터 225억건)




스키마

날짜 varchar(8)

매장 varchar(10)

매출번호 bigint

금액 int




인덱스 - 클러스터드 유닉크  날짜, 매장, 매출번호




SELECT 

  매장

, COUNT(*) AS 개수

, SUM(금액) AS 합계금액 

FROM 매출 (클러스터드 인텍스)

WHERE 날짜 = '20110724' 

GROUP BY 매장 -- select 되는 건 2500만건




사전내용

1.인덱스

2.서버 스팩은 바꿀 수 없음. 

3.MS-SQL SERVER 2005 사용




해본 내용

1. (매출테이블을) 미리 계산하여 생성한 테이블(집계테이블) 사용 

 - 매출테이블의 데이터가 바뀌면(삽입, 수정, 삭제) 데이터가 틀어짐

 - 집계하는 과정에서는 서버의 많은 자원을 사용




2. 테이블 불리

 - 효과는 있으나, 기존 데이터를 사용자에게 보여주기 어려움

 

서버를 바꿀 수도 없고... 바꾼다고 해도 나중에 더 많은 데이터가 들어오면...

소용 없을꺼 같고요... 쿼리로는 최적화가 더 없는거 같은데요...




좋은 개념이나 방법이 없을까요?

'집계할 때'는 이미 부하집중입니다. 

집계 테이블의 소스는 매출 테이블입니다. 

변화는 매출 테이블이 겪습니다. 당연히 매출 테이블에 종속성이 있는 집계 테이블도 변경되어야 합니다. 

 

집계 테이블은 매출 테이블의 스냅샷이라고 볼 수 있습니다. 

그러므로 집계 이후의 변경분을 스냅샷에 적용시켜주려면 재집계 하던가 변경된 부분만을 갱신해야겠지요. 

 

이런 경우의 부하분산 솔루션은 단순합니다. 

매출 테이블이 변경될 때 집계 테이블도 변경하면 되겠습니다. (distinct count 같은게 없으니..)

간단히 예를 들면, 

 

--입력할 때
begin tran 

    update 매출집계
    set 금액 = 금액 + 1000
    where 일자 = '20120101'
    and 매장 = 'A매장'

 

    if @@rowcount = 0
        insert 매출집계 values('20120101', 'A매장', 1000)

 

    insert 매출 values('20120101', 'A매장', 1000)
commit

 

--갱신할 때
begin tran 
    update 매출 
    set 금액 = 금액 - 5000
    where 일자 = '20120101'
    and 매장 = 'A매장'

 

    update 매출집계
    set 매출 = 매출 - 5000
    where 일자 = '20120101'
    and 매장 = 'A매장'
commit

 

--삭제할 때
begin tran 

    declare @amt int

    select @amt = sum(금액) 
    from 매출
    where 일자 = '20120101'
    and 매장 = 'A매장'

 

    delete from 매출
    where 일자 = '20120101'
    and 매장 = 'A매장'

 

    update 매출집계
    set 매출 = 매출 - @amt
    where 일자 = '20120101'
    and 매장 = 'A매장'
commit

 

문법이 맞나 모르겠네요. 

저장 프로시저를 사용하던지, 트리거를 사용하던지 방법이야 여러가지겠지요. 

 

'분할' 이나 '분산'의 글자가 들어가면 필연적으로 복잡해집니다. 

복잡성은 돌고돌아 비용상승의 결과를 가져다줍니다. 

 

웬만하면 잘 설득해서 서버자원을 늘리시는게 누이 좋고 매부 좋을 것 같습니다. 

사람은 복불복이지만 하드웨어는 거짓말을 안하거든요.