1. 개발기간 : 2001. 9. 1 ~ 2002. 8. 31

2. 연구개발의 필요성

    MPEG, Internet Telephony, and Web are important technologies for digital information society.

Listening music and watching video (encoded in MPEG) on the wired Internet or at local PCs are widely spreaded. Technologies for making these services available for moving users are important for the future information society. The objective of this project is to provide the current multimedia services available on the wired Internet to the mobile computers as a result of researching on MPEG-7 and QoS guarantee on the mobile Internet.
　

   MPEG services running on the wired Internet is becoming one of the important technologies for the future information society. Currently, ISO/IEC is standardizing on how to search and retrieve multimedia data. However, since the work (named as MPEG-7) is proceeding based on the wired Internet, research work on how to extend MPEG-7 into mobile Internet is required. Therefore, researches such as how to guarantee QoS on the mobile Internet and modify/optimize the current MPEG-7 with respect to mobile Internet is required. Currently, the status of the related work is very premature.

   The first-year work for this project is to develop a feature extraction mechanism for contents based multimedia image description and a matching and retrieval algorithm for multimedia indexing according to MPEG-7 standards. Also, a mechanism for flexible resource reservation path extension and optimization in order to guarantee QoS on Mobile internet will be developed with a mobile internet architecture for supporting the mechanism effectively and efficiently. Using the result of the first-year, MPEG-7 system with a user interface will be developed and research on delivery of multimedia data searched by MPEG-7 will be executed. Also, Application Programming Interface library will be developed based on mobile Internet protocol stack and resource reservation mechanism. Finally, MPEG-7 running on mobile Internet environment will be developed. As a result of this project, patents, papers, products and original core technologies in MPEG-7 and mobile Internet are expected to be produced.

 The market of multimedia information search/retrieval and mobile Internet starts to grow rapidly. The market size of these market is expected to be larger than that of existing wired Internet. By this point, prestigious companies, research institutes and universities in the world are working on this area. In order to compete with these, the topic is chosen for a project and the result of this project will contribute to the domestic and world markets.

MPEG, 인터넷전화, 웹 등은 디지털 정보사회의 중요 서비스 기술이다. 유선 인터넷상에서 웹을 통하여 또는 PC에서 MPEG 음악을 듣거나 비디오를 보는 것은 보편화되고 있다. 따라서 이를 이동 중에도 할 수 있도록 가능하게 하는 본 연구는 미래 정보사회의 핵심기술로서 매우 중요한 의미를 갖고 있다. 이동 중에도 고품질의 음성, 영상 정보를 제공하는 MPEG 데이터를 실시간으로 검색할 수 있는 기술, 그리고 검색된 정보를 서비스 품질 (QoS)이 보장된 이동컴퓨터로 전송하여 사용자가 유선 네트워크에서와 다름없이 서비스를 받을 수 있는 기술 확보가 본과제의 궁극적인 목적이다.      

 유선 인터넷상에서 MPEG 서비스는 광범위한 응용 영역을 차지하고 있으며 미래 정보사회의 근간이 되는 서비스가 될 것으로 추정되고 있다. 그 동안 표준화 및 제품화를 거쳐 실제 생활에 사용되고 있는 MPEG 데이터를 효율적으로 검색할 수 있는 표준화 연구가 ISO/IEC에서 현재 MPEG-7으로 명명되어 진행되고 있다. 그러나 이 MPEG-7에 대한 표준화 및 연구, 개발이 유선 인터넷을 기반으로 추진되는 바, 이를 이동 인터넷상에서도 가능하도록 하기 위해 이동인터넷 자체에 대한 연구와 이동 인터넷상에서 동작하는 MPEG-7에 대한 연구가 요구되는 실정이다. 현재 이동 인터넷 상의 MPEG 서비스에 관한 연구는 이동 인터넷에서 멀티미디어 서비스를 위한 서비스 품질 보장에 관한 연구와 MPEG-7 자체에 관한 연구로 나눌 수 있는데 각각의 연구가 초기단계이고 이를 연계하려는 연구 또한 미진한 상태이다.

 1차년도에 MPEG-7 표준에 따른 내용기반 영상/비디오 표현을 위한 특징 추출 기법과 멀티미디어 인덱싱을 위한 메칭 알고리즘 및 검색 알고리즘을 개발한다. 또한, 이동인터넷에서 QoS 보장을 위한 유연성 있는 예약경로 확장 기법, 예약경로 최적화 기법을 개발하고, 이를 지원하기 위한 효과적인 이동 인터넷 구조 설계를 설계한다. 이를 이용하여 2차년도에서는 사용자 인터페이스를 가진 MPEG-7 시스템을 개발하고, 이동 인터넷환경에서 MPEG-7으로 검색된 멀티미디어 데이터의 전달 (delivery) 연구를 수행한다. 그리고, 효율적인 이동인터넷 프로토콜 스택을 설계하고, 구현된 예약경로 확장/최적화 기법을 어플리케이션 프로그래밍에서 쉽게 사용할 수 있도록 API 라이브러리를 개발한다. 마지막 3차년도에는 두 분야에서 연구 개발된 기술 및 시스템/망을 바탕으로 이동 인터넷 환경에서 동작하는 MPEG-7 통합 시스템을 개발한다.

본 과제를 통해 개발된 이동 인터넷상의 영상/비디오 검색 기술은 특허를 통하여 MPEG-7 및 이동 인터넷 QoS 보장 관련 원천기술을 확보함으로써 핵심기술 확보가 가능하다.
 멀티미디어 정보 검색 및 이동인터넷 시장은 이제 시장 도입기를 지나 활성기의 초기로서 그 시장 규모가 점차 늘어나고 있다. 향후 시장 성장기에 본격적으로 접어들면 그 성장 규모는 기존의 유선 인터넷상의 정보 검색 시장의 성장률을 능가하리라고 예측된다. 이러한 이유로 해서 세계 굴지의 업체들이 멀티미디어 정보 검색 기술과 이동 인터넷 QoS 보장기술 개발에 관심을 쏟고 있다. 이런 경향에 대응하고자, 본 과제를 통하여 이동 인터넷상의 MPEG-7 응용 및 기반 기술을 확보함으로써, 국내시장은 물론 세계시장에까지 진출하여 관련 시장의 수입대처 및 수출효과를 거둘 수 있다.

〈 연 구 내 용 〉

1. 연구배경 및 중요성 (Background and Significance)

1.1. 연구목적 및 중요성

  MPEG, 인터넷전화, 웹 등은 디지털 정보사회의 중요 서비스 기술이다. 유선 인터넷상에서 웹을 통하여 또는 PC에 저장된 것을 통하여 MPEG 음악을 듣거나 비디오를 보는 것은 보편화되고 있다. 따라서 이를 이동 중에도 할 수 있도록 가능하게 하는 본 연구는 미래 정보사회의 핵심기술 연구로서 매우 중요한 의미를 갖고 있다. 고품질의 음성, 영상 정보를 제공하는 MPEG 데이터를 이동 중에도 실시간으로 검색할 수 있는 기술, 그리고 검색된 정보를 서비스 품질 (QoS: Quality of Service)이 보장된 이동컴퓨터로 전송하여 사용자가 유선 네트워크에서와 다름없이 서비스를 받을 수 있는 기술 연구가 본과제의 궁극적인 목적이다.      

  오늘날 멀티미디어 서비스의 급속한 증가(국내멀티미디어 2000년 시장 규모 26,555억원: 삼성경제연구소)는 영상 및 오디오와 같이 크기가 큰 데이터 특성과 이러한 데이터들이 인터넷 또는 인트라넷에 산재하게 되는 결과를 가져왔다. 따라서 다양한 소스와 방대한 데이터에서 유용한 정보를 쉽게 찾고 이용 할 수 있는 멀티미디어 인덱싱 기술이 요구되고 있다. 그러나 현재, 우리가 웹 검색 사이트 등에서 흔히 접할 수 있는 text-index에 기반한 전통적 방식은 이러한 방대한 데이터를 다루기에는 너무나 부족하고 비효율적이라 할 수 있다. 따라서 멀티미디어 데이터의 검색에서 그 내용을 중심으로 인덱싱/검색하는 기술이 요구되고 있다. 데이터 양이 큰 영상/비디오로 그 중요한 내용을 전달하는 매체에 있어서는 더욱 그러하다.

  멀티미디어 정보의 내용을 표현하는 일반적 기술은 아직 정립되지 못하였으며, 지금까지의 멀티미디어 국제표준도 단순한 정보의 효율적 저장 및 전송 측면에 치중하여 내용의 표현 및 검색에 대한 요구사항을 만족시키지 못하고 있다. 멀티미디어 정보를 효과적으로 이용하기 위해서는 멀티미디어 정보의 표현 형식, 저장, 정보의 연결 및 구성 환경 등에 관한 정보의 효율적 표현이 필요하다. 따라서, 이에 관련한 많은 연구와 개발이 시급한 반면 국외에 비해 국내 기술현황은 극히 미미하고 제한적이며 개별적으로 이루어져 온 실정이다.

  이런 기술의 응용분야 및 파급효과는 매우 광범위하며, 특히 PDA장비와 접목된 이동 인터넷 분야에 초기부터 적극적으로 관련 코어기술을 개발함으로써 원천기술 및 재산권을 확보할 필요가 있다. 따라서 본 과제에서는 이처럼 날로 증가하는 멀티미디어 데이터를 대표하는 영상/비디오 데이터들을 이동인터넷에서 효율적인 관리와 검색(세계 멀티미디어 검색 현재 시장 3600억원: Link Resources)하기 위해 1단계(2000-2001)에서는 MPEG-7 표준[21 - 23]에 따른 내용에 기반 하는 인덱싱 알고리즘개발을, 2단계(2001-2002)에서는 사용자 인터페이스를 가진 MPEG-7 시스템개발 및 이동 인터넷환경에서 MPEG-7으로 검색된 멀티미디어 데이터의 전달 (delivery) 연구를, 3단계(2002-2003)에서는 MPEG-7과 이동 인터넷환경과의 통합 시스템 개발을 목표로 한다.

  현재 인터넷 멀티미디어 응용 영역은 화상 회의, VOD 및 AOD 서비스, 인터넷 전화 서비스, 원격 강의, 인터넷 방송 등 점차 그 폭을 넓혀가고 있으며, 네트워크 기술이 발달함에 따라 더욱 다양한 서비스들이 등장할 것으로 예상된다. 또한 최근의 무선이동단말 가입자 증가 및 휴대형 컴퓨터의 확산 추세를 볼 때, 사용자가 언제 어디서나 자유롭게 이동하면서 보장된 품질의 멀티미디어 서비스를 이용하고자 하는 요구는 더욱더 증가할 것이다. 따라서 기존 QoS 보장 메커니즘에 대해 이동성을 지원하는 연구를 통해 이러한 요구를 충족시킬 수 있으며, 또한 이동 컴퓨팅 응용의 폭을 넓히는 데 있어서도 많은 기여를 할 수 있을 것으로 예상된다.

  Mobile IP를 기반으로 하는 무선 네트워크에 있어서 호스트의 이동은 곧 그 자신의 위치를 확인시킬 수 있는 IP 주소의 변화를 의미한다[1, 2]. 또한 이동 호스트의 QoS 보장을 위하여 백본 (backbone)망에서는 DiffServ를, Access 네트워크에서는 RSVP를 채택하려는 연구가 진행되고 있다. 본 연구에서는 호스트 이동에 따른 QoS 보장을 위하여 RSVP의 확장에 관한 연구를 다룬다. RSVP는 트래픽이 이동할 경로를 미리 설정해 놓고, 그 경로를 따라 수행되는 자원 예약을 통해 요구되는 QoS를 보장하려는 시그널링 프로토콜이다[3]. 이러한 RSVP를 무선 네트워크에서 사용한다면, MH들의 IP 주소 변화는 단순히 라우팅 경로의 변화 뿐 아니라 아래 그림 1과 같이 기존에 사용되던 자원 예약경로 (reservation path)를 폐기하고 새로운 예약경로를 설정하는 오버헤드를 감수해야 함을 의미한다. 이러한 오버헤드는 네트워크 자원 활용의 효율을 떨어뜨릴 뿐 아니라, handoff시 Mobile IP 자체가 요구하는 지연시간에 예약경로 재 설정으로 인한 지연시간을 가중시켜, 결과적으로 지속적인 QoS 보장을 어렵게 하는  근본 원인이 된다.

                                        그림 1. MH의 handoff 발생 시 예약경로의 재 설립

  따라서 본 연구의 목적 중 하나는 기존 유선 네트워크에서 사용되던 QoS 보장 메커니즘, 특히 RSVP에 그 초점을 맞추어 이동 인터넷에 적용 시 발생하는 문제점들을 해결하고, 실제 운영에 있어 그 효율성을 높일 수 있는 관련기술들을 개발함으로써 이동성을 갖는 호스트에 대한 지속적인 QoS를 보장하려는 것이다. 그리하여 인터넷상에 분산되어 있는 고품질의 멀티미디어 정보를 검색하고 사용함에 있어 이동 중에도 항상 신뢰적인 서비스 품질 보장을 받는 것이 가능하게 한다.

2. 연구목표 (Specific Aims)

 구체적인 연도별 연구 목표, 내용 및 범위는 아래와 같다.

1.1. 연도별 연구목표

1.2. 연도별 연구내용 및 범위

가. 1차년도

 1차년도에는 MPEG-7 표준 내용기반 검색시스템 응용을 위한 기본적인 시스템을 구축한다. 그리고 이동 인터넷에서 QoS보장을 위한 예약기법을 개발하고 네트워크 구조를 설계한다. 기본 시스템은 다음과 같은 기능 및 규격을 갖도록 개발한다.
MPEG-7 표준 내용기반 검색시스템 응용을 위한 기본적인 시스템의 내용은 다음과 같다.
　

• 영상/비디오 인덱싱을 위한 알고리즘 개발
  • 영상/비디오 입력처리 기능
    - 영상/비디오 분할
    - 영상/비디오 특징 분석
  • 영상/비디오의 내용 특징추출 기능
    - 영상/비디오의 내용 특징정의 및 추출
  • 추출된 내용을 인덱싱기능
    - 추출된 각 내용 특징들을 표현할 수 있는 인덱싱 적용
    - 영상/비디오의 전체적인 인덱싱 특징 벡터 도출
  • 인덱싱된 특징을 데이터 베이스화
    - 인덱싱 특징 데이터 베이스 구성
    - 영상/비디오의 인덱싱된 특징을 데이터 베이스에 저장
  •  
• 영상/비디오 검색을 알고리즘 개발 
  • 질의 영상/비디오 입력기능
    - 질의 영상/비디오 분할 및 특징 분석
  • 특징 추출 및 인덱싱 알고리즘 수행
    - 질의 영상/비디오의 내용 특징정의 및 추출
    - 추출된 질의 영상/비디오의 인덱싱 특징 벡터 도출
  • 인덱싱 결과를 데이터 베이스와 비교/분석 기능
    - 질의 영상/비디오의 인덱싱 결과를 분석
    - 질의 영상/비디오의 인덱싱 특징 벡터와 데이터베이스 내의 인덱싱 특징벡터들과의 유사도 비교
  • 질의 영상/비디오와 가장 유사한 후보 영상/비디오 순으로 출력 기능
    - 검색 결과를 유사도 순으로 배열
    - 후보 영상/비디오 순으로 사용자에게 출력
    　

 이동 인터넷에서 QoS보장을 위한 예약기법 개발과 네트워크 구조 설계 내용은 다음과 같다.
  

• 유연성 있는 예약경로 확장 기법 개발
  • MH의 이동에 대비하기 위한 선 자원예약 (resource pre-reservation) 기법 개발
    - 물리적인 네트워크 구조 및 handoff 상황의 다양함에 무관하게 적용될 수 있는 범용성 제공
    - 기존의 네트워크 구조에 변화를 요구하지 않는 투명성 제공
    - 일반적인 RSVP 세션에 비해 네트워크 자원 소모가 적은 효율성 확보
    - 라우터들의 세션 상태정보 유지 부담을 줄임으로써 얻을 수 있는 확장성
  • 예약경로의 연결 (concatenation)에 의한 QoS 보장 기법 개발 (그림 2)

                                         그림 2. 예약경로 확장을 통한 QoS 보장
  

• 효과적인 네트워크 구조 설계
  • BS의 예약 에이전트 (agent) 기능 설계
    - 선 예약경로 설립 및 활성화 (activation)
    - 기존 예약경로와 새로이 활성화된 선 예약경로 간의 트래픽 포워딩 기능
    - 필요없는 예약경로의 폐기
    - 효율적인 네트워크 자원 관리 및 할당
    - 네트워크 상태정보 관리
  • 네트워크 구조의 효율성 증대 연구
    - 예약경로 확장에 관련된 모든 절차를 각 BS들이 담당함으로써 기존 라우터들의 기능변화를 요구하지 않는다.
    - 각 MH의 QoS 보장에 필요한 모든 작업을 고정 호스트인 BS가 대행함으로써 MH가 부담하게 되는 역할의 양을 감소시킨다.
    - 네트워크의 위상정보 및 MH의 진입, 진출 등의 정보를 각 BS가 효율적으로 관리할 수 있다.

   

• 예약경로 최적화 기법 개발
  • 확장된 예약경로의 최적화 알고리즘 개발 (그림 4)
    - 최적화 수행시기 탐색 알고리즘 연구
    - 멀티캐스트를 이용한 최소비용의 최적화 기법 개발
    - 최적화 수행 프로세스에 대한 예약 승인 (admission) 기능의 개선 연구
    - 최적화 수행시간의 단축 연구

                                                  그림 4. 예약경로 최적화

나.  2차년도
 2차년도에는 사용자 인터페이스를 가진 MPEG-7 시스템 개발 및 이동 인터넷환경에서 MPEG-7으로 검색된 멀티미디어 데이터를 효율적으로 전달하기 위한 연구를 수행한다. 이를 위하여 이동인터넷 예약기법을 구현하여 테스트베드에 설치한다.

• 윈도우 기반 GUI(graphic user interface) 형식의 사용자 인터페이스 개발
  • 영상/비디오 질의 입력 인터페이스
    - 예제 영상/비디오에 의한 질의 입력
    - 영상/비디오의 내용 특징을 선택하여 질의 입력
  • 영상/비디오 검색 결과 인터페이스
    - 후보 영상/비디오 검색결과를 유사도 순으로 배열
    - 후보 영상/비디오를 GUI 에 출력

   

• 시스템 내부에 인덱싱 알고리즘과 검색 알고리즘 탑재
  • 인덱싱 알고리즘
    - 특징 벡터를 분석하고 내용에 따라 인덱싱할 수 있는 알고리즘
  • 검색 알고리즘
    - 질의 영상/비디오와 데이터 베이스내부의 인덱싱 벡터를 비교하여 유사한 순으로 후보 영상/비디오를 검색할 수 있는 알고리즘

   

• 데이터 베이스에 random 엑세스가 가능한 루틴 탑재
  • 레코드 삽입기능
    - 데이터 베이스에 새로운 영상/비디오 인데싱 벡터를 삽입하는 기능
  • 레코드 추가기능
    - 데이터 베이스 내부에 있는 기존의 영상/비디오 인덱싱 벡터에 추가적인 인덱싱 벡터를 기록할 수 있는 기능
  • 레코드 삭제기능
    - 데이터 베이스에서 필요없는 영상/비디오 인덱싱 벡터를 삭제하는 기능

   

• 이동 인터넷환경에서 멀티미디어 데이터 전달을 위한 멀티미디어 소스연구
  • 시간축 분할 방식연구
    - scene change, 비디오 오브젝트의 시간 변화 검출
  • 공간주파수(spatial frequency)-공간 분할 방식연구
    - 비디오 오브젝트별 분할 및 오브젝트 내의 subband 분할

   

• 예약경로 확장 메커니즘의 효율 개선방안 연구 (네트워크 자원의 효율적 사용)
  • MH들의 이동위치 예측기법 연구
    - 실세계의 데이터를 기반으로 한 사용자의 이동 패턴 연구
    - 이동위치 예측 알고리즘 연구 및 개선
    - 이동위치 예측 알고리즘의 적용 방안 연구
  • 초과 예약 허용기법 연구
    - 선 예약경로에 대한 초과예약 허용기법 연구
    - 분석 및 시뮬레이션을 통한 초과예약의 한계/적정 수준 검증
    - 동적으로 수행되는 초과예약 관리 모듈의 설계

• 예약경로 확장/최적화 기법의 구현 및 실험결과 도출
  • 예약경로 확장/최적화 기능 구현
    - Mobile IP, RSVP 및 Class Based Queueing (CBQ) system을 이용한 테스트베드 구성
    - 예약경로 확장/최적화 모듈 구현
    - 예약경로 확장/최적화 모듈을 이용할 수 있도록 VIC 및 VAT 구현 코드 수정
    - 위치이동 예측 모듈 구현
    - 초과예약 관리 모듈 구현
  • 실험 및 평가
    - QoS 보장성 실험
    - 효율 및 성능 평가

   

• 이동 인터넷환경 MPEG-7 검색 시스템 모듈연구

다.  3차년도
 3차년도에는 PDA 장비와 연동된 MPEG-7과 이동 인터넷 환경과의 통합 시스템을 개발한다. GUI (Graphic User Interface)의 사용자 인터페이스를 제공하는 시스템을 개발한다. 통합 시스템은 다음 두 가지 서브 시스템으로 구축된다.
  - 이동 디바이스에서 MPEG-7 클라이언트 시스템 구축
  - 이동 인터넷 MPEG-7 서버 시스템 구축
 또한 효율적인 전달이동망 구성을 위한 시스팀 튜닝을 실시한다.

• 효율적인 프로토콜 스택 및 어플리케이션 프로그램을 위한 API 라이브러리 개발
  • 효율적 프로토콜 스택 개발 (그림 5)
    - 상위 어플리케이션에 투명성을 보장하는 프로토콜 스택 설계
    - 레이어 간 인터페이스 설계
  • 어플리케이션을 위한 API 라이브러리 개발
    - 예약경로 확장/최적화가 지원되는 RSVP 세션 설립  
    - 설립된 세션을 통한 보장된 품질의 트래픽 전송
    - 어플리케이션에 의한 서비스 품질 요구 변화에 대한 처리
    - 세션의 상태정보 및 경로 확장 상황, 최적화 수행 상황 등에 대한 모니터링 및 관리.
    - 세션의 설립 및 유지과정에서의 에러 발생에 대한 인식 및 대처.
    - 트래픽 급증으로 인한 서비스 품질 저하 (degradation)에 대한 처리.
    - 전체 네트워크 레벨의 모니터링 및 관리.

   

• MPEG-7 내용 기반 검색 엔진을 이용한 이동 네트워크 상에서의 어플리케이션 개발
  • MPEG-7 내용 기반 검색 엔진을 이용한 어플리케이션 개발
  • MPEG-7과의 통합 시스템 구축
    - 테스트베드, 예약경로 확장을 통한 QoS 보장 기법 그리고 MPEG-7
      어플리케이션의 통합 시스템 환경 구성
  • 성능평가 및 실험
    - 통합 시스템의 수행성 평가 시험
    - 네트워크 환경 및 조건 변화를 통한 성능 평가
    - 실생활 및 관련기술에 적용할 수 있는 유용한 실험결과 도출

                                              그림 5. 효율적인 프로토콜 스택의 설계