Trong dự án Data Warehouse - Business Intelligent – Management Information System (DW/BI/MIS), kiến thức về kỹ thuật (Database Administration) chỉ chiếm 5-10%, còn lại là các kiến thức về phân tích nghiệp vụ và hoạch định kế hoạch chiến lược của chuyên ngành cụ thể, ở đây là các kiến thức nghiệp vụ về Ngân hàng, Tài chính. Kiến trúc sư trưởng của dự án DW/BI/MIS phải là một chuyên gia phân tích hệ thống cao cấp, có chuyên môn sâu về nghiệp vụ.
Công nghệ Thông tin ngày càng thể hiện tầm quan trọng trong tất cả các hoạt động của ngân hàng. Dữ liệu về khách hàng, giao dịch trở thành tài sản vô giá của Ngân hàng. Ngoài việc tăng cường công tác Marketing, chăm sóc khách hàng, phát triển các sản phẩm dịch vụ tiên tiến, việc sử dụng kho dữ liệu một cách có hiệu quả để đưa ra các báo cáo phân tích, hỗ trợ ra quyết định cũng như các mô hình dự báo khoa học sẽ giúp Ngân hàng có các bước đi hiệu quả, tăng vị thế cạnh tranh trên thị trường, nâng cao chất lượng công tác dự báo và giảm thiểu các rủi ro.
Kho dữ liệu của Ngân hàng là vô cùng lớn và được tích lũy theo thời gian. Để có thể xử lý khối lượng lớn dữ liệu này cần có một giải pháp đồng bộ theo qui trình xử lý dữ liệu chuẩn, từ tổ chức cấu trúc dữ liệu, xác định nguồn dữ liệu, hệ thống lưu trữ dữ liệu, bộ các báo cáo được chuẩn hóa, công cụ phân tích mô phỏng, công cụ truy vấn dữ liệu trực quan, hệ thống phân phối thông tin. Giải pháp DW/BI/MIS ra đời từ những nhu cầu thực tế trên.
DW/BI/MIS cung cấp cách nhìn toàn cảnh hoạt động của tổ chức từ quá khứ, hiện tại và các dự đoán tương lai. Có thể hiểu DW/BI/MIS là một tập hợp các phương pháp, quy trình, kiến trúc, công nghệ chuyển đổi dữ liệu thô thành các thông tin có ý nghĩa và hữu ích được sử dụng để hỗ trợ việc ra quyết định chiến lược, chiến thuật và đảm bảo hoạt động của Ngân hàng hiệu quả hơn.
Hiện nay hầu hết các tổ chức tài chính thế giới đã sử dụng giải pháp DW/BI/MIS từ cơ bản đến hiện đại. Tại Việt Nam, các Ngân hàng đều có hệ thống MIS cơ bản (Excel, ứng dụng tự xây dựng hoặc là module Báo cáo của hệ thống Core Banking). Trong 2 năm gần đây, khá nhiều Ngân hàng đã và đang đầu tư, triển khai giải pháp DW/BI/ MIS chuyên biệt như Vietinbank, Techcombank, Sacombank, SEABank…
1. Kiến trúc Giải pháp DW/BI/MIS
Dưới đây là kiến trúc điển hình của hệ thống DW/BI/MIS hiện đại mà các nhà cung cấp Giải pháp hàng đầu đã xây dựng và triển khai cho các Ngân hàng trên thế giới.
Kiến trúc của giải pháp được chia thành các tầng (Tier) như sau:
Tầng Database System
Tầng BI Foundation
Tầng BI Presentation
Đây là tầng chứa dữ liệu, tầng này gồm các thành phần chính sau:
Các cơ sở dữ liệu nguồn, cơ sở dữ liệu nguồn có thể là các cơ sở dữ liệu quan hệ (RDBMS), các flat file, log file, … Đối với Ngân hàng, nguồn dữ liệu có thể từ các hệ thống Core Banking, Cards, Ebanking, Treasury, Trade Finance, CRM,…
Vùng chứa cơ sở dữ liệu thô và tạm thời từ các nguồn dữ liệu Data Source trên, dưới dạng cơ sở dữ liệu quan hệ Oracle, DB2, MS SQL, ...
Đây là kho dữ liệu trung tâm của cả hệ thống (Central Data Repository). Dữ liệu từ Staging Area sau khi được làm sạch (cleansed), chuẩn hóa, hợp nhất (consolidated) sẽ được chuyển vào đây.
DWH gồm các cấu phần:
Kho meta data: chứa các meta data sau đây:
Cấu trúc các bảng trong dữ liệu nguồn (hoặc Staging Area)
Cấu trúc các bảng trong DWH, Data marts
Meta data của ETL: mô tả về các tiến trình lấy dữ liệu nguồn (ETL), dữ liệu nguồn nào được ánh xạ đến dữ liệu đích
Meta data của việc làm sạch dữ liệu: các luật về làm sạch (data quality rules, các tác vụ của chúng, …
SOR (System of Record): là cấu phần chính của DWH. Dữ liệu trong SOR thường vẫn được lưu trữ dưới dạng chuẩn 3 (3NF). SOR chứa các dữ liệu đã được làm sạch, được hợp nhất.
Data Marts được xem như là tầng trình bày (Presentation) của DWH. Các câu lệnh truy vấn, phân tích sẽ truy cập trực tiếp vào các Data Marts đế lấy dữ liệu cho các báo cáo, Dashboards,…
Star schema
Data Integration
Thực hiện việc tích hợp dữ liệu từ các nguồn khác nhau vào Data Warehouse và Data Marts:
Lấy dữ liệu từ các cơ sở dữ liệu nguồn
Biến đổi các dữ liệu này thành các dạng thích hợp
Nạp dữ liệu đã được biến đổi vào DW và Data Marts
Data Integration đảm bảo chất lượng dữ liệu (data quality). Công việc đảm bảo chất lượng dữ liệu bao gồm các công việc chính như: làm sạch dữ liệu (data cleansing), chuẩn hóa dữ liệu (data standardization),…
Nền tảng cho tầng BI Presentation, bao gồm các cấu phần chính sau:
BI Server
OLAP Server
Sematic Model
Engine trung tâm thực hiện các câu lệnh truy vấn và trả lại dữ liệu cho các chương trình Client yêu cầu (ví dụ từ một báo cáo hay một Dashboards).
OLAP Server
OLAP server là một engine được thiết kế để thực hiện tác vụ về phân tích, bao gồm phân tích OLAP (drill down, drill up, slicing, …) và phân tích what-if.
Chức năng chính của cấu phần này là xây dựng một mô hình dữ liệu logic (logical data model). Nó giúp người dùng không phải quan tâm đến các mô hình dữ liệu vật lý. Thông thường mô hình dữ liệu vật lý thường phức tạp vì dữ liệu có thể được lưu ở nhiều dạng cấu trúc dữ liệu khác nhau.
Tầng này giao tiếp trực tiếp với người dùng cuối (end user), cung cấp các tính năng chính của giải pháp đề xuất. Người dùng có thể sử dụng các tính năng này thông qua giao diện Web.
Trong tầng BI Presentation có các cấu phần:
Standard Reports: cung cấp giải pháp báo cáo ở mức toàn bộ tổ chức (enterprise reporting tool), cho phép thiết kế, quản lý, kết xuất các báo cáo ở nhiều dạng khác nhau.
Ad hoc Reports: là các báo cáo chưa được phát triển sẵn. Người dùng có thể tự tạo các báo cáo cho nhu cầu của mình bằng cách kéo thả các đối tượng nghiệp vụ (business object) đã được tạo sẵn trong hệ thống.
Interactive Dashboards: cung cấp giao diện đồ họa trực quan. Người dùng có thể nhanh chóng nắm bắt tình trạng hoạt động của tổ chức để có thể ra các quyết định kịp thời.
Scorecard & Strategy Management: cung cấp tính năng về scorecards cho người dùng để thực hiện các công việc liên quan đến quản lý chiến lược.
Integrated Search: Khả năng tìm kiếm nội dung các Dashboard, View, KPI, Scorecard, Publisher Report,…
Actionable Intelligence: cung cấp khả năng gọi các Workflow, Web Service, nội dung Web (Web Content), các hàm Java, các hàm do người dùng tự phát triển.
Trong kiến trúc của hệ thống BI/DWH, mô hình dữ liệu (Data Model) đóng một vai trò vô cùng quan trọng. Việc thiết kế một mô hình dữ liệu hoàn chỉnh, phù hợp và đáp ứng được yêu cầu nghiệp vụ của Ngân hàng là công việc rất quan trọng trong các dự án triển khai DW/BI/MIS, mục tiêu không chỉ đáp ứng được yêu cầu phân tích và khai thác dữ liệu trước mắt, mà còn thích ứng với những thay đổi, mở rộng trong tương lai. Mô hình bao gồm hệ thống các lược đồ, các bảng dữ liệu thể hiện các lĩnh vực hoạt động của Ngân hàng.
2. Yếu tố triển khai
Trong dự án DW/BI/MIS, kiến thức về kỹ thuật (Database Administration) chỉ chiếm 5-10%, còn lại là các kiến thức về phân tích nghiệp vụ và hoạch định kế hoạch chiến lược của chuyên ngành cụ thể, ở đây là các kiến thức nghiệp vụ về Ngân hàng, Tài chính. Kiến trúc sư trưởng của dự án DW/BI/MIS phải là một chuyên gia phân tích hệ thống cao cấp, có chuyên môn sâu về nghiệp vụ.
Để triển khai thành công dự án DW/BI/MIS, cần quan tâm các vấn đề chính sau:
1) Data Model: phần cốt yếu của hệ thống DW/BI/MIS, đòi hỏi những người tham gia nhóm này là các Chuyên gia Phân tích Nghiệp vụ (BA – Business Analysis), MIS và các Chuyên gia Nghiệp vụ cho từng Module trong Ngân hàng như Tiền gửi, Tiền vay, Thanh toán Quốc tế, ...
2) Data Integration: tùy theo loại dữ liệu, có thể áp dụng mô hình ETL/ELT, những người tham gia vào nhóm này thường là các DBA-Apps, am hiểu cấu trúc của Data Sources, Data Models và biết lập trình
3) Infrastructure (Hardware, Storage): xử lý dữ liệu trong Data Warehouse yêu cầu xử lý vào ra (IO) rất lớn và xử lý song song (parallel) ... do đó việc lựa chọn hạ tầng đóng vai trò rất quan trọng để quyết định thành bại của dự án
4) Các công nghệ bổ trợ: như BI, Private Cloud, ... và các kỹ thuật quản lý dữ liệu DBA.
Xác định hệ thống DW/BI/MIS là một trong các dự án chiến lược mà các tổ chức tín dụng Việt Nam sẽ quan tâm đầu tư phát triển trong thời gian gần, trong nhiều năm qua Công ty Hệ thống thông tin FPT IS đã huy động nhiều nguồn lực phát triển đội ngũ chuyên gia về IT ngân hàng, tiến hành chuyển giao công nghệ với tổ chức triển khai thực hiện các DW/BI/MIS. Với đội ngũ chuyên gia đông đảo, nắm chắc Kỹ thuật và Nghiệp vụ Ngân hàng, FPT IS đã triển khai thành công dự án DW/MIS tại Vietinbank; và hiện đang tiếp tục triển khai dự án này tại SeaBank.
Trần Đình Thành
Trung tâm Tư vấn Công nghệ Ngân hàng – FPT IS Bank
(Cnth theo Thnh)