Kịch bản ứng cứu (Rapid Response)

Phút thứ mười hai

Phiên họp hội đồng quản trị thường niên đang ở phút thứ mười hai. Micro của chủ tọa đột ngột tắt, đúng lúc ông đang nói dở câu về kết quả kinh doanh quý vừa rồi. Cả phòng tám mươi người im bặt. Trong phòng điều khiển, người vận hành nhìn chằm chằm vào đồng hồ báo mức.

Ngay lúc đó mở ra một khoảng thời gian rất ngắn, tính bằng giây, giữa hai kết cục rất khác nhau.

Kết cục thứ nhất. Micro có tiếng lại sau chừng mười giây. Chủ tọa nói tiếp. Một vài người trong phòng thậm chí không nhận ra vừa có sự cố. Phiên họp đi đúng lịch.

Kết cục thứ hai. Nửa phút trôi qua, micro vẫn câm. Chủ tọa lúng túng, người dự bắt đầu xì xào, thư ký phải xin tạm dừng. Rồi gọi bộ phận công nghệ thông tin, gọi nhà cung cấp, chờ kỹ sư tới, chờ tìm nguyên nhân, chờ sửa. Phiên họp lùi gần một tiếng. Vài thành viên phải về trước. Biên bản ghi lại sự cố. Báo cáo nội bộ xếp nó vào mục “vấn đề kỹ thuật”, nhưng với chánh văn phòng và ban tổ chức, đó là một ngày khó quên.

Hai kết cục không khác nhau ở thiết bị. Hai phòng họp có thể dùng cùng thiết bị, cùng hãng, cùng cấu hình. Chúng khác nhau ở chỗ đã có một kịch bản dựng sẵn cho đúng tình huống này hay chưa.

Tình huống trên là minh họa tổng hợp từ những gì Bá Hùng đã chứng kiến qua hơn hai mươi năm làm phòng họp cấp cao. Bài này giải thích kịch bản ứng cứu cụ thể là gì, vì sao nó khác một hợp đồng bảo trì thông thường, và cách đánh giá năng lực ứng cứu của một nhà cung cấp.

Cái giá thật của một sự cố

Với giám đốc vận hành và người quản lý rủi ro, nên tách chi phí của một sự cố trong sự kiện trọng yếu thành hai phần: chi phí kỹ thuật và chi phí phi kỹ thuật. Gộp lại, ta có một chỉ số mà ít nhà cung cấp nào trình bày khi chào phương án: cái giá của sự cố vận hành.

Chi phí kỹ thuật thường nhỏ, ngang giá một linh kiện hoặc vài phút khởi động lại một thiết bị.

Chi phí phi kỹ thuật thì lớn hơn rất nhiều, và có ít nhất năm thành phần:

• Uy tín của tổ chức. Sự cố tại đại hội cổ đông đi vào biên bản, được nhắc lại trong báo cáo, đôi khi lên mặt báo. Cổ đông, đối tác, cơ quan quản lý đều nhìn thấy. Lấy lại uy tín tốn kém và kéo dài.
• Quy trình ra quyết định bị đứt. Phiên họp hội đồng quản trị gián đoạn gần một tiếng có thể không kịp kết luận các vấn đề trong chương trình. Quyết định bị đẩy sang phiên sau, có khi sang quý sau.
• Pháp lý và tuân thủ. Đại hội cổ đông phải ghi nhận biểu quyết đúng trình tự, phiên họp hội đồng nhân dân phải lưu trữ phục vụ kiểm tra, nhiều phiên họp phải ghi hình theo quy định. Sự cố cắt ngang những yêu cầu này có thể tạo rủi ro pháp lý.
• Niềm tin của đội tổ chức. Sau một sự cố lớn, chánh văn phòng, ban tổ chức, đội kỹ thuật nội bộ bước vào mọi sự kiện sau đó với tâm lý lo lắng. Chất lượng tổ chức đi xuống.
• Thời gian của lãnh đạo. Ba mươi phút mất đi trong một phiên chín mươi phút nghĩa là một phần ba thời gian của cả bàn lãnh đạo bị lãng phí. Đó là nguồn lực đắt nhất của tổ chức.

Cộng lại, cái giá của một sự cố lớn trong sự kiện trọng yếu có thể lên tới hàng tỷ đồng, vượt xa chi phí phòng ngừa. Nhà thầu chỉ lắp đặt thì báo giá vốn đầu tư. Nhà thầu có cam kết vòng đời thì nói tổng chi phí sở hữu. Cả hai con số đều bỏ sót khoản này.

Tập luyện, không phải đọc tài liệu

Một sai lầm hay gặp: viết kịch bản ra giấy, phát cho đội vận hành, coi như xong. Sáu tháng sau, đội đã quên quá nửa. Khi sự cố thật xảy ra, kịch bản không được kích hoạt đúng.

Tập luyện thật có ba lớp.

Lớp đầu là diễn tập trên bàn. Người chỉ huy đọc một tình huống giả định, từng thành viên nói mình sẽ làm gì. Người chỉ huy thêm biến: nếu cùng lúc xảy ra hai sự cố thì sao? Lớp này rèn cho đội cách nghĩ theo hệ thống và không hoảng.

Lớp thứ hai là diễn tập tại hiện trường. Sự cố giả được dựng thật trong phòng, ví dụ rút nguồn một thiết bị mà không báo trước, và đội phải kích hoạt kịch bản trong thời gian thật. Mỗi lỗi lộ ra lúc diễn tập là một lỗi không phải gặp trong sự kiện thật.

Lớp cuối là rà soát sau mỗi sự kiện. Đội ngồi lại xem kịch bản nào đã chạy, có đúng thời gian không, có gì bất thường, có cần sửa kịch bản không. Đây là vòng cải tiến không có điểm dừng.

Bá Hùng tổ chức tập luyện theo ba lớp này cho đội phụ trách công trình của mình, và cho đội vận hành nội bộ của chủ đầu tư nếu có.

Kịch bản ứng cứu bắt đầu từ bản vẽ

Vì sao không phải nhà tích hợp nào cũng có kịch bản ứng cứu cho khách hàng? Vì kịch bản cần điều kiện kiến trúc đi trước.

Lấy micro chính làm ví dụ. Mất tín hiệu thì không thể chuyển sang micro dự phòng trong vài giây nếu hệ thống không có sẵn đường dự phòng nóng. Không có, thì phải lắp thêm, đấu lại dây, cấu hình lại đường đi tín hiệu, mất hàng phút chứ không phải hàng giây.

Truyền hình trực tiếp cũng vậy. Đường truyền chính đứt thì không chuyển được sang đường phụ nếu mạng không có hai đường độc lập từ hai nhà cung cấp khác nhau. Chỉ có một đường thì chỉ có thể chấp nhận gián đoạn.

Với hệ biểu quyết điện tử trong phiên họp hội đồng nhân dân hay đại hội cổ đông, khi hệ thống trục trặc, việc chuyển sang biểu quyết giơ tay chỉ làm được nếu cách bố trí phòng và quy trình điều hành đã tính sẵn: người dự phải được nhìn thấy rõ, thư ký phải có sẵn trình tự kiểm phiếu thủ công.

Bá Hùng đề xuất các điều kiện kiến trúc này với chủ đầu tư ngay khi xác định mức trọng yếu của hệ thống. Mức triển khai cụ thể được chốt ở giai đoạn thiết kế, cân giữa cái giá của sự cố và ngân sách dự án. Nếu kiến trúc thiếu các yếu tố dự phòng, kịch bản viết hay tới đâu cũng không cứu được tình huống tới hạn.

Đó là lý do vai trò thứ năm trong khung năm vai trò của Bá Hùng, ứng cứu nhanh, không tách được khỏi vai trò thứ nhất, tư vấn kiến trúc giải pháp. Tách ra, vai trò thứ năm thành lời hứa không giữ được. Xem thêm Tư Duy Kiến Trúc Giải Pháp và Đối Tác Trực Tiếp G7/EU về nguồn linh kiện cho ứng cứu nhanh.