Ultravindata大数据分析项目
1 Project Overview
1.1 Executive Summary (Required)
Copy from Business Review or Partner PMP documents
[What the project is, why it’s happening, and what it will achieve?
Use this section of the document to provide a high-level overview of the project. Briefly describe the customer’s business and technical objectives, including the business and technical drivers for moving to the AWS cloud. Briefly summarize the partner’s professional services to be delivered to meet the customer’s objectives.]
客户背景：Ultravindata成立于2022年，是一家服务于全球的大数据分析服务提供商，其数据分析产品主要涉足于数字资产管理、区块链游戏、体育娱乐等行业。Ultravindata正通过本身大数据技术优势与运营实力，打造大数据平台基础设施建设，推动大数据技术发展与应用。客户业务系统目前部署在阿里云和新加坡IDC,一年账单70K.
项目背景：本次迁移项目是的大数据业务SaaS平台，该平台原本在阿里云新加坡Region部署。2022年12月，阿里云香港Region大规模中断对客户业务造成了影响，使其生产平台被迫中断，造成巨大经济损失。客户跟阿里的合约在2023年10月到期。此后，客户在半年时间内与多家云厂商进行接触，考虑寻找一家更安全稳定的云服务提供商。
2023年1月，客户决定更换云供应商，开始对原有合作渠道进行沟通，希望能找到价格不高于阿里并且能够满足其应用架构的云供应商。
2023年2月，客户与华为云接触，华为云的基础架构无法满足客户的要求，客户拒绝华为。
2023年3月，客户与腾讯云接触，腾讯云的网络情况测试没有通过，被客户拒绝。
2023年4月，客户决定提高预算，接触国外云厂商。认为国内云厂商的技术以及架构无法满足其全球部署的需求。
2023年5月，客户与Azure接触，客户对测试机构满意，但是对其销售团队不满意，没有与其继续沟通下去。
2023年6月，客户与GCP接触，客户比较Azure的方案没有跟GCP继续沟通。
2023年6月，客户与AWS partner和BD团队接触，开始进行测试。
Why AWS：1.客户对比多家云厂商的方案，从价格和整体架构两个方面综合考虑，AWS的方案更符合客户预期
2.BD/SA团队的专业型和服务态度是打动客户最重要的一环，在项目前期中BD/SA团队以及Partner团队投入大量人力以及时间跟客户去沟通方案和解决在其他厂商测试中出现的问题和风险。
3. 全球化架构满足了客户未来的业务发展需求
4.整体消耗：146224.86$
Project Success Criteria (Required)
Copy from Business Review or Partner PMP documents
[What is the definition of done? Working backwards, what are critical items that need to be addressed for the project to be successful?
Provide a bulleted list of items that are important to address for the success of the project. Describe the important business and technical objectives of the project in a way that is quantitative and measurable, i.e., how success would be defined and measured for this project.]
本迁移项目迁移应用/模块均采用rehost的方式进行, 所有应用/模块从阿里云平行迁移到AWS 环境.
1) 迁移前，AWS应给予技术赋能，确保IT团队实现自运维。
2)迁移过程中，AWS BD及SA团队应给与全过程支持。
3)业务系统及资源在AWS重构，应在10个工作日内完成。
4)由于应用基本采用平行迁移的方式, 迁移后该项目成本应不高于在阿里云的成本费用。
迁移到AWS 环境时, 各应用/组件均需要采用Multi-AZ 方式进行部署, 确保单个可用区故障, 应用仍然能够正常访问.
5在应用服务层, 采用ALB进行应用的负载均衡和自动扩缩容, 确保应用的运营弹性和业务敏捷性.
2 Proposed Technical Architecture (Required)
[Provide a description of the proposed high-level technical architecture, to address common architectural aspects such as: network infrastructure; data/process flows; software services/components; integration/messaging/middleware; security; deployment models; operations/support models. (As appropriate, based on the type of project).
Proposed Architecture should follow well architected best practices. For details, please visit https://aws.amazon.com/architecture/well-architected/
Also provide architectural diagram(s) that illustrate the proposed solution architecture. As an APN Partner, you are permitted by AWS to use AWS Icons to create architecture diagrams. For details, please visit https://aws.amazon.com/architecture/icons/.]
Before migration
客户在阿里云的没有清晰完整的架构图，基于对客户技术架构的理解，设计AWS架构图如下。
After migration : architectural diagram
[Provide list of tools being used/proposed to accomplish deliverables for this project]
1. 网络规划： 客户所有业务组件部署在一个VPC中的两个可用区. 以实现业务高可用。其中堡垒机、应用服务集群、链上数据同步集群部署在公有子网, 以接收客户业务请求和公网数据同步；数据分析集群EMR, 资源调度Airflow、 客户自建的MySQL , Redis部署在私有子网。
2. 业务负载：客户的业务负载均基于AWS EC2自行构建
1). 大数据同步集群, 通过专用软件系统同步数据。
2). 前端应用服务平台部署在应用服务集群上, 接收客户业务请求，通过AWS Application Load Balancer 实现负载均衡。
3). 大数据分析系统部署在数据分析集群,通过AWS Network Load Balancer(Internal) 与部署在公有子网的大数据同步服务平台进行通信.
4). 经过分析后的结果数据写入MySQL,以及自研数据仓库供应用服务查询。
5). 应用层及数据分析的日志数据均通过开源ELK进行集中管理、分析和查询.大数据分析平台通过Airflow+ EMR进行调度.完成T+0、T+1的数据清洗与BI展示