COMP5310 — 数据科学期末复习 & 模拟测试

1. 数据科学工作流 (Data Science Workflow)

数据科学是一个循环迭代的过程，真题考过让你给步骤排序。
Data science is an iterative pipeline; past papers ask you to put the steps in order.

1. Data Acquisition 数据获取 — 从数据库、API、网页爬取、传感器收集原始数据。
   Collect raw data from databases, APIs, web scraping, sensors.
2. Data Storage 数据存储 — 把数据存进数据库或数据仓库。
   Store the data in a database or data warehouse.
3. Data Cleaning & Transformation 清洗与转换 (ETL) — 去重、补缺失、统一格式与单位。
   Remove duplicates, fill missing values, standardise formats and units.
4. Exploratory Data Analysis (EDA) 探索性分析 — 画图、看分布、找规律和异常。
   Plot charts, inspect distributions, find patterns and anomalies.
5. Modelling & Predictive Analysis 建模与预测 — 训练回归/分类/聚类模型。
   Train regression / classification / clustering models.
6. Visualization & Result Dissemination 可视化与结果传播 — 把结果清楚地讲给决策者。
   Communicate findings clearly to stakeholders.

2. 三种数据结构 (Three Data Structures)

3. Big Data 的判定 (When is it "Big Data"?)

课程定义：当数据量大到需要在多个处理节点（分布式）上处理时，才算 Big Data。
Course definition: a problem is "Big Data" when the volume is so large it must be processed on multiple nodes.

常用 3V 描述：Volume 体量、Velocity 速度、Variety 多样性。
Often described by the 3 Vs: Volume, Velocity, Variety.

4. 监督 vs 无监督学习 (Supervised vs Unsupervised)

1. 四种数据类型 (4 Data Types) — 最高频 MCQ

Nominal vs Ordinal：看有没有"顺序" / Is there an order?

颜色(红/绿/蓝)无大小 → Nominal；学历(本科<硕士<博士)有高低 → Ordinal。
Colours have no order → nominal; education levels have a rank → ordinal.

Interval vs Ratio：看有没有 absolute zero (0 是否=没有)

关键：0 这个值是否代表"完全没有这个量"。是→Ratio；只是参考点→Interval。
Key: does 0 mean "none of the quantity"? Yes → ratio; just a reference point → interval.

2. 适用的描述统计 (Which statistic for which type?)

逻辑：统计量需要的运算，data type 得支持才有意义。
Logic: a statistic is only meaningful if the data type supports the maths it needs.

3. 集中趋势 vs 离散程度 (Central Tendency vs Dispersion)

4. 分布形状 / 偏态 (Skewness)

1. 语句结构 & 执行顺序 (Clauses & Execution Order)

SELECT   col / agg        -- 5 选哪些列 which columns
FROM     table            -- 1 哪张表 which table
WHERE    row filter       -- 2 行过滤(聚合前，不能用聚合) filter rows
GROUP BY col              -- 3 分组 group
HAVING   group filter     -- 4 组过滤(聚合后，可用聚合) filter groups
ORDER BY col [DESC]       -- 6 排序 sort
LIMIT n                   -- 7 取前 n 行 top n

书写按上面；执行顺序 Execution order：FROM→WHERE→GROUP BY→HAVING→SELECT→ORDER BY→LIMIT。

2. 聚合函数 & GROUP BY 黄金法则

COUNT(*) 行数 · SUM 求和 · AVG 平均 · MAX/MIN 最值。

3. WHERE vs HAVING (高频考点)

SELECT CustomerID, SUM(Amount)
FROM Orders
GROUP BY CustomerID
HAVING SUM(Amount) > 100;   -- 用 HAVING (SUM 是聚合)

4. DISTINCT / JOIN / ORDER BY+LIMIT 模板 (2017 冰淇淋题)

-- a) 3月有销售的 unique 门店 / unique stores with March sales
SELECT DISTINCT store_id FROM Tx WHERE month = 3;

-- b) 3月卖出的 unique 冰淇淋名 (多表 JOIN) / multi-table join
SELECT DISTINCT i.name
FROM Tx t
JOIN Tx_IceCream ti ON t.tx_id = ti.tx_id
JOIN IceCream i      ON ti.icecream_id = i.icecream_id
WHERE t.month = 3;

-- c) 每月 total / avg / count
SELECT month, SUM(value), AVG(value), COUNT(*)
FROM Tx GROUP BY month;

-- d) 平均售价>=5 的 top-3 门店(按总销售降序)
SELECT store_id, SUM(value) AS total
FROM Tx
GROUP BY store_id
HAVING AVG(value) >= 5
ORDER BY total DESC
LIMIT 3;

5. 日期/时间运算 (Date/Time arithmetic, 24S1真题)

SELECT event_timestamp + INTERVAL '36 hours' AS new_ts,
       event_date      + INTERVAL '1 day'    AS new_date
FROM EventSchedule;

1. K-means 聚类 (必考)

• 输入需指定 k(簇数)，算法不会自动算 k。
  k (number of clusters) must be given as input; not computed automatically.
• 每个点分到最近 centroid(质心)的簇。
  Each point goes to the nearest centroid.
• 目标：最小化簇内方差 / SSE。
  Objective: minimise within-cluster variance / SSE.
• 迭代 Steps：① 初始化 k 个 centroid → ② 每点归最近 centroid → ③ 重算 centroid(均值) → ④ 重复至收敛。

2. 层次聚类 (Hierarchical / Agglomerative)

步骤顺序 (真题排序题) / Step order

1. 每个点自成一簇 / each point its own cluster
2. 找最近的一对簇 / find the closest pair
3. 合并成一个簇 / merge into one
4. 重算新簇与其他簇距离 / recompute distances
5. 重复 2–4 直到只剩一簇 / repeat until one cluster

3. Silhouette 系数 (聚类质量)

• s ≈ 1：分得好(贴合本簇) / well matched。
• s ≈ 0：在两簇边界 / on the boundary。
• s < 0：可能分错簇 / possibly misassigned。
• s ∈ [−1, 1]，不会 >1。

4. 如何选 k (Choosing k)

• Silhouette：越高越好(选峰值) / higher is better, pick the peak。
• SSE 肘部法 Elbow：SSE 随 k 单调下降，不能只选最小；找"下降突然变缓"的肘部。
  SSE decreases monotonically with k; pick the elbow, not the minimum.

5. 降维 PCA (Dimensionality Reduction)

把高维数据投影到少数主成分(principal components)，保留最大方差方向，去冗余。用途：可视化、加速、降噪、缓解维度灾难。
Project to few principal components keeping max variance; for visualisation, speed, denoising.

1. 简单线性回归 (Simple Linear Regression)

• 在因变量 Y 与一个自变量 X 之间找最佳拟合直线。
  Finds the line of best fit between Y and ONE independent variable X.
• 模型 Y = α + βX，学 α 截距(交 y 轴) 和 β 斜率。
  Learns intercept α and slope β.
• 多个自变量 → multiple linear regression 多元。

2. 回归评估 (Evaluation)

• Residual/Error 残差 = y_true − y_predicted。
• SSE/MSE/RMSE：误差平方度量，越小越好 / lower is better。
• R² = 解释方差/总方差 ∈[0,1]，越接近 1 越好。
  R² = explained variance / total variance; closer to 1 is better.
• 残差图 Residual plot：点随机散在 0 附近=好；呈曲线形状=非线性、拟合差。

3. 逻辑回归 (Logistic Regression)

• 用于分类(非连续预测)；输出概率 0–1，用 sigmoid。
  Used for classification; outputs a probability via sigmoid.
• 概率 > 阈值(默认0.5) → 判正类。
• cost function 必须可微 differentiable，才能用梯度下降 gradient descent(24S1真题)。
• 想降低 false negative(漏报) → 调低阈值，重视 recall。
  To reduce false negatives, lower the threshold / favour recall.

1. 核心概念 (Core idea)

按所选属性递归划分样本，直到节点纯净或无属性可分；叶节点给预测类别。
Recursively partition samples by the chosen attribute until pure; leaves give the predicted class.

2. 熵与信息增益 (Entropy & Information Gain)

选 Information Gain 最大 ⇔ 条件熵最小 的属性来划分。
Pick the attribute with the highest information gain = lowest weighted child entropy.

3. 建树举例 (2017 buys_computer)

4. 过拟合与优缺点 (Overfitting / Pros & Cons)

• 树太深 → 过拟合(学噪声)；用剪枝 pruning或限深缓解。
• 优点 Pros：可解释性强、不需特征缩放、能处理类别特征。缺点 Cons：易过拟合、不稳定。
• Random Forest = 多棵树投票，降低过拟合 / ensemble of trees to reduce overfitting。

核心立场 (Key Positions) — 真题多为多选/判断

• 数据科学不是价值中立的活动。
  Data science is NOT an ethically neutral activity.
• 模型既预测未来，也影响未来；数据科学家有责任沟通并减轻可能的危害。
  Models both predict AND affect the future; the data scientist must communicate and mitigate harm.
• 用历史数据训练 → 会把制度性偏见(institutional bias)带进模型。
  Historical data exposes the model to institutional bias present when it was collected.
• 即使敏感特征(如 gender)是强预测变量，使用它也可能延续/放大偏见，应慎用或不用。
  Even a strong predictor like gender may perpetuate bias and should be used with caution.
• 机器学习会从数据偏见中学习——"数学不会撒谎"是错误说法。
  ML DOES learn bias from data; "maths doesn't lie" is wrong.

1. ETL 三步 (Extract → Transform → Load)

• Extract 抽取：从 CSV/API/网页/数据库读原始数据。
  Read raw data from CSV/API/web/database.
• Transform 转换：清洗+改格式(去重、补缺、单位统一、合并)。数据清洗在这一步。
  Clean & reshape; data cleaning happens here.
• Load 加载：写入目标数据库(如 PostgreSQL)。
  Write into the target database.

2. 清洗包含 / 不包含什么 (真题考点)

3. 七大数据质量问题 (7 Data Quality Issues) — Sample Q2 大题必考

4. 关系型数据库好处 (Benefits of RDBMS) + 键 (Keys)

• Declarative querying 声明式查询：只说"要什么结果"，不写"怎么算"(SQL)。
  Specify WHAT result you want, not HOW to compute it.
• Schema + 约束保证数据一致性 integrity；减少冗余 redundancy。

PK vs FK：Primary Key 主键 唯一标识本表一行(如 CustomerID)；Foreign Key 外键 在另一张表引用该 PK，用来 JOIN。
Primary key uniquely identifies a row; foreign key references another table's PK to join.

1. EDA 是什么、为什么 (What & Why)

EDA = 建模前"先看一眼数据"。目的：① 了解分布 distribution；② 找变量间关系 relationships；③ 发现异常 anomalies (outlier/missing/错误)。
EDA = look at the data before modelling: understand distribution, find relationships, detect anomalies.

分析层级 Levels

• Univariate 单变量：只看一列 / one variable (e.g. DeliveryTime 的分布)。
• Bivariate 双变量：两列关系 / two variables (e.g. Distance vs Time)。
• Multivariate 多变量：3+ 列一起 / 3+ variables (e.g. heatmap)。

2. 选图速查 (Choosing the right chart)

3. 坏图诊断 (What's wrong with this chart?) — 真题简答

其他坏图毛病 / Other issues：缺坐标轴标签或单位 (missing axis labels)、Y 轴不从 0 开始造成误导 (truncated y-axis)、用饼图比较太多类别、把 ordinal 当 interval 平均。

1. 三个核心度量 (Support, Confidence, Lift)

对规则 X → Y，设 N = 总交易数 / N = total transactions：

• Support 高 = 组合常见，值得关注 / common & worth attention。
• Confidence 高 = X 出现时 Y 很可能出现 / rule is reliable。
• Lift > 1 正相关 positive；=1 独立 independent；< 1 负相关 negative。

2. 完整计算举例 (Worked example, Sample Q3, N=1200)

3. 手算 (Hand calculation, 2017 冰淇淋)

1. 贝叶斯定理与朴素假设 (Bayes + Naive Assumption)

2. 分类步骤 + 完整举例 (Steps + Worked Example, Sample Q4)

1. 假设检验基础 (Hypothesis Testing)

• Research Question 研究问题：问自变量是否有影响。
  Asks whether an independent variable has an effect.
• Null Hypothesis H₀ 零假设：假设没有影响。
  Assumes there is no effect.
• p-value：在 H₀ 为真的前提下，观察到当前或更极端数据的概率。
  Probability of observing data this extreme if H₀ were true.
• 决策：p < 0.05 → 拒绝 H₀；p 越小，反对 H₀ 证据越强。
  p < 0.05 → reject H₀; the smaller p, the stronger the evidence against H₀.

两类错误 (Type I / II error)

2. 相关性检验 (Correlation)

• Pearson：测线性关系，适合正态/连续。
  Measures linear relationship; for normal/continuous data.
• Spearman：测单调关系，适合非正态/ordinal/有异常值。
  Measures monotonic relationship; for non-normal/ordinal data.

r ∈ [−1,1]，接近 ±1 强相关，接近 0 无线性相关。相关 ≠ 因果 / correlation ≠ causation。

3. Train / Development / Test 划分

• Training set 训练集：训练模型；用 cross-validation 交叉验证 做调参。
  Train models; use cross-validation for tuning.
• Development/Validation set 验证集：评估调参，但节制使用防过拟合。
  Evaluate tuning, but use sparingly to avoid overfitting.
• Held-out Test set 测试集：只用一次做最终评估；绝不放进训练，也不反复调参。
  Use only ONCE for final evaluation; never include in training.

4. 过拟合 vs 欠拟合 (Overfitting vs Underfitting)

5. 分类评估：混淆矩阵 (Confusion Matrix)

6. 模型横向对比 (Model Comparison) — Q5 必备

Q5 是 model comparison and evaluation，除了算指标，还要能横向比较不同模型的假设、优劣、适用场景。

• 数据类型↔统计量 Data type ↔ stats：Nominal只mode，Ordinal加median但不能mean
• Interval vs Ratio：绝对零点 absolute zero (Kelvin=Ratio, 摄氏/年份=Interval)
• Dispersion：Min/Max/Range/Var/Std (Mode/Median/Count不是)
• 选图 Charts：分布→Histogram，关系→Scatter；坏图→对ordinal求和无意义
• 清洗 Cleaning：7问题 + 三段式答题；匿名化不算清洗
• SQL：GROUP BY黄金法则、WHERE(行/不能聚合) vs HAVING(组/可聚合)、DISTINCT、JOIN、ORDER BY+LIMIT
• 假设检验 Hypothesis：H₀=无影响，p小=证据强，p<0.05拒绝；Type I=拒真，Type II=纳伪
• 评估 Eval：Precision=TP/(TP+FP), Recall=TP/(TP+FN), F1=2PR/(P+R)；过拟合=train高test低
• 关联规则 Rules：Support=共现/N, Confidence=共现/X, Lift=Conf/Support(Y)；lift>1正相关
• 聚类 Clustering：k-means需给k+最小化簇内方差；single-link=最近点对；silhouette≈1好；选k看silhouette峰值+SSE肘部
• 回归 Regression：线性学α/β、R²；逻辑回归分类、cost可微、降FN调低阈值
• 决策树 Tree：Entropy=−Σplog₂p，选Gain最大(条件熵最小)；age例root
• 朴素贝叶斯 NB：先验×条件概率连乘；0概率用Laplace平滑
• 伦理 Ethics：非中立、模型影响未来、历史数据带偏见、慎用敏感特征