Bài giảng Cơ sở dữ liệu đa phương tiện - Chương 1: Các khái niệm cơ bản - Nguyễn Thị Oanh

Nội dung text: Bài giảng Cơ sở dữ liệu đa phương tiện - Chương 1: Các khái niệm cơ bản - Nguyễn Thị Oanh

1. Giới thiệu chung DL lớn Nhu cầu chia sẻ/khai thác Khả năng tính toán/lưu trữ lớn 2
2. 1. Khái niệm cơ bản 4
3. Kiểu Media  Phân loại: – Theo định dạng vật lý – Theo mối liên hệ với thời gian:  Media tĩnh (static media): nội dung và ý nghĩa không phụ thuộc vào biểu diễn thời gian: văn bản, ảnh tĩnh, đồ họa  Media động (dynamic media, continuous media ou isochronous media): các dữ liệu có chiều thời gian: hoạt hình, âm thanh, video) 6
4. Multimedia Digital environment USER Elements of Multimedia 8
5. 2. Dữ liệu đa phương tiện 10
6. Multimedia Data  DL dạng văn bản (text): – Định dạng: đa dạng:  text thường (file ASCII) hoặc text đã được định dạng (màu sắc, độ bóng, ) (html, xml, RTF, Word, mã nguồn của chương trình C, Pascal, ) – Kích thước lưu trữ: không đáng kể so với các dữ liệu đa phương tiện khác 12
7. Multimedia Data ( )  DL ảnh: -Thông tin, định dạng, mức độ chi tiết đa dạng 14 -Loại ảnh : tự nhiên, nhân tạo, từ các thiết bị đặc biệt
8. Multimedia Data ( )  DL âm thanh: Tiếng động, tiếng nói (văn bản đi kèm), nhạc, phim, các chương trình dịch tự động từ văn bản, 16
9. Multimedia Data ( )  Vidéo: + = Âm thanh Chuỗi ảnh Video 18
10. Đặc điểm của DL đa phương tiện  Kích thước DL lớn cấu trúc DL đặc biệt: lưu trữ và đánh chỉ mục  Có chiều thời gian (audio, vidéo)  DL được biểu diễn thông qua chuỗi các giá trị riêng lẻ, thiếu cấu trúc ngữ nghĩa rõ ràng để máy tính có thể « hiểu » nội dung  Nhiều ứng dụng yêu cầu biểu diễn nhiều kiểu DL đồng thời có thông số thời gian và không gian  Ngữ nghĩa: mờ và chủ quan: cùng 1 bức ảnh, 2 người có thể hiểu theo 2 cách khác nhau  Giàu thông tin: cần nhiều tham số để có thể biểu diễn được nội dung 20
11. 3. MIRS & MM-DBMS 22
12. Ví dụ based based Retrieval Image - Keyword 24 Content-based Image Retrieval
13. MIRS MIRS = DBMS + IR + Content-based retrieval techniques  DBMS: – Cho DL có cấu trúc liên quan đến DL ĐPT (ngày, tác giả, ) – Object-Relational DBMS: hỗ trợ cho DL ĐPT  IR: text-based retrieval – DL văn bản chiếm phần lớn – Chú thích cho DL ĐPT  Một trong những điểm quan trọng nhất trong MIRS: trích chọn đặc trưng/biểu diễn nội dung 26 MIRS hoàn chỉnh == MM-DBMS
14. MM-DBMS  MM-DBMS: Multimedia Database Management System: – framework quản lý các kiểu dữ liệu khác nhau với định dạng phong phú và được lưu trên nhiều nguồn phương tiện khác nhau 28
15. MM-DBMS  Lớp 1 (giữa những năm 90): – Dựa trên cơ chế lưu trữ và truy vấn file của hệ điều hành – Hệ thống thương mại – VD: MediaDB MediaWay (96), JASMINE, ITASCA (98)  Lớp 2: – Xử lý DLĐPT dựa trên kiểu DL đối tượng phức tạp MMDBMS: mở rộng từ ORDBMS – Bắt đầu thành công: 1996-1998, bắt đầu Informix – Commercial: Oracle 10g, IBM DB2 Universal Database Extenders, IBM Informix – Research project: MIRROR (1999), DISIMA (2000) 30
16. BLOB vs. Object  BLOB: – Chỉ để lưu trữ DL kích thước lớn  Object: – Có các thuộc tính, DL – Có các phương thức xử lý phù hợp cho kiểu DL 32
17. MM-DBMS – các yêu cầu – Tính bền vững (Persistence)  Data objects can be saved and re-used by different transactions and program invocations – Tính riêng (Privacy)  Access and authorization control – Toàn vẹn (Integrity control)  Ensures database consistency between transactions – Phục hồi dữ liệu (Recovery)  Failures of transactions should not affect the persistent data storage 34
18. Một số vấn đề chính: Hỗ trợ truy vấn Ngôn ngữ truy vấn:  Cho phép dễ dàng truy vấn đến CSDL đa phương tiện: – Hỗ trợ các phép toán trên các kiểu DL khác nhau – Có khả năng truy nhập siêu DL mô tả nội dung từ các nguồn khác nhau – Kết hợp kết quả truy vấn từ các nguồn khác nhau  Cho phép truy vấn hiệu quả – Giải thuật truy vấn tối ưu? – Nên đánh chỉ số các loại dữ liệu đa phương tiện như thế nào ? 36
19. Một số vấn đề chính: Hỗ trợ lưu trữ  Các thiết bị lưu trữ hoạt động như thế nào ? – Các ổ đĩa – CD-ROM – Băng từ  Dữ liệu được ghi trên các thiết bị như thế nào?  Thiết kế các máy chủ chứa thiết bị lưu trữ nhằm thỏa mãn các yêu cầu (tgian truy cập dài, đáp ứng thời gian thực) khi thao tác khác nhau đồng thời từ phía người dùng trên cùng một dữ liệu? – Playback – Rewind – FastForward 38 – Pause
20. Ngôn ngữ  SQL-based : – HM-SQL: Hybrid-Multimedia SQL – SQL/MM (2000): SQL Multimedia – QBOE (97): Query-By-Object-Exemple – MQL (94) – MOQL (97): Multimedia Object Query Language – CSQL(98): Cognition and Semantics-based Query Language  XML-based: – MRML(2000): Multimedia Retrieval Markup Language – MQF(2007): Multimedia Query Format (a standard communication language for querying multimedia databases) – Overview: Efficient multimedia query-by-content from mobile devices 2010 40
21. Các nguồn DL 42 Cuộc điều tra của công an về hoạt động ma túy trên diện rộng
22. Truy vấn trong thư viện ảnh  Ngữ cảnh 1: – Cảnh sảt có ảnh của 1 đối tượng và muốn định danh – Q1: Tìm tất cả các ảnh từ thư viện giống với ảnh đang có 44
23. Truy vấn trong thư viện ảnh  Truy vấn = ảnh: – Similarity: Độ tương tự giữa 2 ảnh ? – Ranking: xếp loại ?  Truy vấn = từ khóa: – ? Đối tượng ảnh liên kết với giá trị thuộc tính – ? Đánh chỉ mục và tìm kiếm hiệu quả các thuộc tính 46
24. Truy vấn DL âm thanh 48
25. Truy vấn DL Video  Ngữ cảnh: – Cảnh sát đang xem đoạn băng theo dõi 1 vụ tấn công, mặt của kẻ tấn công (B) bị che khuất 1 phần giải thuật nhận dạng không cho kết quả tốt – Phỏng đoán: có thể người bị tấn công (A) quen biết thủ phạm Q: Tìm tất cả các đoạn video mà có mặt người bị tấn công 50
26. Truy vấn hỗn tạp – VD1  Ví dụ truy vấn DL văn bản (HQ1): Tìm tất cả những kẻ – đã bị kết án trong vụ tấn công ở Nam Phi và – đã có chuyển khoản vào tài khoản của họ từ công ty ABC  Vấn đề: – Việc tìm kiếm tất cả những kẻ đã bị kết án do các tội khác nhau có sẽ cần truy cập đến nhiều CSDL đa dạng thuộc vào các phán xử, tòa án khác nhau – Cty ABC có thể có nhiều tài khoản ở hàng trăm ngân hàng trên thế giới (định dạng khác nhau, hệ csdl khác nhau) 52
27. Truy vấn hỗn tạp – VD2  Ví dụ truy vấn (HQ2): Tìm tất cả những kẻ – đã bị kết án trong vụ tấn công ở Nam Phi và – đã có chuyển khoản vào tài khoản của họ từ công ty ABC – có chụp chung hình với Jose  Thực hiện truy vấn: – Giống HQ1 – Truy nhập DL ảnh có gán nhãn để tìm ảnh của người thỏa HQ1 với tên đã được biết – Tìm trong CSDL ảnh tĩnh, trong video đối tượng xuất hiện cùng Jose – Xác định đối tượng trên ảnh, video nhờ vào giải thuật xử lý ảnh 54
28. 5. Ứng dụng đa phương tiện 56
29. Ứng dụng – IBM’s MARVEL (Multimedia Analysis and Retrieval): Searching service đang thử nghiệm: (automatic and semi-automatic description generation) – Discovir: Distributed Content-based Visual Information Retrieval System 58