本课程旨在为学生提供理论软件工程的背景知识，以应用于大规模数据分析的并行系统中。将介绍设计和开发数据科学应用程序平台的原则，并传授部署和构建数据科学应用程序的应用技术细节。通过完成本课程，学生将能够开发和编写自己的大规模、最先进的机器学习分析。
本课程的目标在于：
1. 描述大规模数据存储和寻址的理论原理。
2. 设计和实施大规模数据分析软件。
3. 解释和评估数据处理策略，如提取、转换、加载（ETL）。
4. 设计有效的数据分析应用程序，用于进行机器学习的大规模数据分析。
5. 批判性评估用于部署数据分析应用程序的不同平台，如Hadoop、Spark等。
6. 利用分布式编程创建新颖的大规模数据分析管道，以从数据中获得新的关键见解。
预期学习成果包括：
1. 能够描述大规模数据存储和寻址的理论原理。
2. 能够设计和实施大规模数据分析软件。
3. 能够解释和评估数据处理策略，如ETL。
4. 能够设计有效的数据分析应用程序，用于进行机器学习的大规模数据分析。
5. 能够批判性评估用于部署数据分析应用程序的不同平台，如Hadoop、Spark等。
6. 能够利用分布式编程创建新颖的大规模数据分析管道，以从数据中获得新的关键见解。
本课程的学习内容包括但不限于以下主题：
数据建模和ETL（提取、转换、加载）。
存储大规模数据的现代形式，如平行文件系统、图形数据库、文档数据库、对象存储等。
解决大规模数据问题的形式化方法，如关系数据库、Amazon Web Services Athena等。
分布式系统编程，如Hadoop、Slurm等。
机器学习规模化资源的利用，包括加速器如GPU、TPU等。
工作流管理系统，如通用工作流语言、Storm、Spark、Luigi等。
要求符合以下条件之一才能选择本课程作为选修课：
1. 注册计划和学年中的本课程。
2. 已完成工程和数据分析1（Comp0235）。
如需了解有关UCL-数据分析的工程2课程辅导以及其他英国课程辅导的详细信息，请随时咨询DR.D留学生辅导机构。
