Thiết kế và triển khai backend/serving engine cho mô hình AI sử dụng các framework như vLLM, NVIDIA TensorRT-LLM, KServe, TorchServe, TensorFlow Serving hoặc tương đương.
Xây dựng cơ chế lazy load / on-demand loading cho các layer hoặc module của mô hình để tối ưu memory footprint và thời gian khởi tạo.
Tối ưu hiệu năng inference: batching, caching, quantization, model parallelism, GPU/CPU utilization và profiling hệ thống.
Thiết kế API (REST/gRPC) để expose các dịch vụ inference, tích hợp với các hệ thống nội bộ, gateway hoặc ứng dụng client.
Xây dựng pipeline deploy, monitoring, alerting cho các dịch vụ AI production (logging, metrics, tracing).
Phối hợp cùng nhóm Research/Applied AI để chuyển giao mô hình (model handoff), chuẩn hóa định dạng model (ONNX, TensorRT engine, v.v.).

Kinh nghiệm triển khai thực tế các backend/serving engine cho mô hình AI với ít nhất một trong các công cụ: vLLM, NVIDIA TensorRT-LLM, KServe, TorchServe, TensorFlow Serving hoặc tương đương; ưu tiên ứng viên đã từng đưa hệ thống vào production với SLA rõ ràng.
Hiểu sâu về kiến trúc mô hình deep learning (đặc biệt là transformer-based models) và cơ chế lazy load layer / module (VD: load từng phần model, sharded weights, memory mapping, offloading giữa CPU/GPU).
Thành thạo một trong các ngôn ngữ: Python (ưu tiên), kèm theo kinh nghiệm với một framework web như FastAPI/Flask/Django để xây dựng dịch vụ inference.
Kiến thức vững về hệ thống backend: HTTP, networking cơ bản, asynchronous programming, queue, cache (Redis/memory cache), và kiến trúc microservices.
Kinh nghiệm làm việc với Docker, container orchestration (ưu tiên Kubernetes) và CI/CD cho dịch vụ AI.
Hiểu biết về monitoring & observability (Prometheus, Grafana, OpenTelemetry hoặc tương đương).