科目一 人工智慧技術應用規劃(L21)

L211 AI 相關技術應用

L21101 自然語言處理(NLP)

技術演進四階段

• 規則式方法(1980s–1990s)
• ELIZA、專家系統
• 限制:無法理解語意、擴展性差
• 統計語言模型(1990s–2010s)
• N-gram、HMM、CRF
• 限制:無法捕捉長距離依賴
• 深度學習時代(2010s)
• RNN、LSTM、GRU
• 限制:訓練時間長、難以並行
• 預訓練語言模型(2018–至今)
• BERT、GPT、T5、RoBERTa
• 自注意力機制、雙向上下文

前處理技術

• Tokenization 分詞
• 中文需斷詞字典或子詞 BPE
• POS Tagging 詞性標注
• Lemmatization 詞形還原
• running → run(保留語意)
• Stemming 詞幹提取
• happiness → happi(快但結果未必有效字)
• Stopword Removal 停用詞移除

詞向量 / 詞嵌入光譜

• 純離散表示
• One-hot Encoding(高維稀疏、無語意)
• Bag of Words(忽略順序)
• 統計型表示
• TF-IDF(TF × IDF)
• 公式:TF=詞頻/總詞數,IDF=log(|D|/含詞文件數)
• 長文本陷阱:常見詞權重被放大
• 統計共現
• N-grams(短範圍上下文)
• 靜態詞嵌入(分布式)
• Word2Vec(預測式)
  • CBOW:上下文預測中心詞,收斂快
  • Skip-gram:中心詞預測上下文,低頻詞效果佳
• GloVe(共現統計式 + 矩陣分解)
• FastText(子詞 n-gram,可處理 OOV)
• 語境型詞嵌入(動態)
• ELMo(BiLSTM)
• BERT(雙向 Transformer + MLM)
• GPT(單向 Transformer + 自迴歸)

Transformer 架構

• 核心元件
• Self-Attention 自注意力
  • 解決長距離依賴
  • 全平行架構
• Multi-head Attention
  • 從不同表示子空間捕捉多樣化關聯
• Positional Encoding 位置編碼
  • 補回順序資訊(Self-Attention 本身對順序不變)
• Encoder-Decoder
• Feed-Forward Network
• Residual Connection + Layer Normalization
• 易考陷阱
• Multi-head 不是為了省參數或加速
• Attention Collapse → 對策:稀疏化約束

NLP 任務類型

• 文本分類 / 情感分析(Sentiment Analysis)
• 判斷正向 / 負向 / 中性
• 命名實體辨識(NER)
• 人名、地名、組織、金額、日期
• 機器翻譯(NMT)
• 自動摘要
• 對話系統 / 問答
• 主題建模(LDA)

評估指標

• BLEU(機器翻譯)
• n-gram 重疊 + 簡短懲罰
• ROUGE(自動摘要)
• ROUGE-N、ROUGE-L、ROUGE-S
• 人工評估(流暢性、準確性)

進階技術

• Prompt Engineering 提示工程
• Few-shot / Zero-shot / Chain-of-Thought
• Fine-tuning 微調
• RAG 檢索增強生成
• 比喻:LLM 閉卷、RAG 開卷
• 檢索階段挑戰:語意相似但意圖不符
• 工具:Faiss、ScaNN
• 低資源語言 → Back-Translation 反向翻譯
• 多任務學習(任務間競爭 → Loss 權重平衡)

L21102 電腦視覺(CV)

任務四階層

• 影像分類(Image Classification)
• 整張圖片貼一個標籤
• 物件偵測(Object Detection)
• 邊界框 + 類別
• 模型:YOLO(快)、Faster R-CNN(準)、SSD(平衡)
• 語意分割(Semantic Segmentation)
• 像素分類但不分實體
• 模型:FCN、U-Net
• 實例分割(Instance Segmentation)
• 像素 + 實體 ID
• 模型:Mask R-CNN
• 全景分割(Panoptic Segmentation)
• 語意 + 實例整合

CNN 元件

• Convolutional Layer 卷積層
• 第一層:抽取低階局部特徵(邊緣、紋理)
• 中層:中階特徵(部位、形狀)
• 後層:高階語意(物件)
• Pooling Layer 池化層
• Max Pooling:取最大值,保留顯著特徵
• Average Pooling:平均
• Activation Layer 激活層
• ReLU = max(0, x)
• Fully Connected Layer 全連接層
• Softmax(輸出類別機率)
• 核心優勢
• 區域感知(Local Receptive Field)
• 參數共享(Parameter Sharing)
• 大幅降低參數量與計算複雜度

經典 CNN 架構演進

• LeNet(5 層,手寫數字)
• AlexNet(2012 ImageNet 突破,引入 ReLU + Dropout)
• VGG(深度 19 層,3×3 小卷積核)
• VGG16:13 Conv + 3 FC,FC 層佔 90%+ 參數
• GoogLeNet / Inception
• ResNet(殘差連接,可達 152 層,解決梯度消失)
• DenseNet
• MobileNet / EfficientNet(輕量化)

進階模型

• Vision Transformer(ViT)
• CLIP(對比學習圖文對齊)
• DALL·E、Stable Diffusion、Midjourney
• SAM(Segment Anything Model)

評估指標

• Accuracy 準確率
• Top-5 Error
• Confusion Matrix 混淆矩陣
• IoU(Intersection over Union)
• 公式:IoU = 重疊面積 / 聯集面積
• 0~1,>0.5 視為成功
• mAP(mean Average Precision)
• IoU 閾值越高 → 評估越嚴格

標註方式

• Label(整圖類別)→ 影像分類
• Bounding Box → 物件偵測
• Pixel Mask → 語意分割
• Pixel Mask + Instance ID → 實例分割
• Keypoint → 姿態估計
• 工具:LabelImg、CVAT、LabelMe、SuperAnnotate

風險與治理

• 資料隱私(GDPR、PII)
• 模型偏見(資料來源不平衡、標註偏誤)
• Data Drift 資料漂移
• 模型版本管理 + MLOps

L21103 生成式 AI

黃仁勳 AI 四階段(2025 CES)

• Perception AI(感知)
• Generative AI(生成)
• Agentic AI(代理)
• Physical AI(物理)

鑑別式 vs 生成式

• 鑑別式 Discriminative
• 學決策邊界
• 用於分類、預測
• 模型:SVM、決策樹、CNN、Logistic Regression
• 生成式 Generative
• 學資料分布
• 用於產出新樣本
• 模型:GPT、VAE、GAN、Diffusion、Naive Bayes

生成模型四大家族

• Transformer(Attention + 自迴歸)
• 文字 / 多模態
• 優點:可擴展超大模型
• 缺點:訓練成本高
• 定位:LLM 主流核心
• GAN(對抗學習)
• 影像生成
• 優點:細節銳利
• 缺點:訓練不穩、Mode Collapse
• 對策:WGAN(Wasserstein 距離)、梯度懲罰
• VAE(變分自編碼器)
• 機率潛在空間
• 優點:訓練穩定
• 缺點:影像較模糊
• Diffusion(逐步去噪)
• 影像 / 多模態主流
• 優點:品質穩、多樣性高
• 缺點:推論慢
• 代表:Stable Diffusion、DALL·E、Midjourney、Sora

應用領域

• 文本生成(ChatGPT、Claude、Gemini、LLaMA)
• 圖像生成(Midjourney、Stable Diffusion、Adobe Firefly)
• 語音合成 TTS(ElevenLabs、Tacotron 2、VITS、Whisper)
• 影片生成(Runway、Sora)
• 程式碼生成(GitHub Copilot、Cursor)

風險與治理

• 幻覺 Hallucination
• 著作權侵權 → 訓練資料篩選 + 授權驗證
• 偏見放大
• Deepfake 深偽濫用
• 對齊機制
• RLHF(人類反饋強化學習)
• 紅隊測試 Red Teaming
• Watermarking 浮水印 / Digital Fingerprint

評估指標

• MOS(Mean Opinion Score,語音自然度)
• WER(Word Error Rate)
• 生成延遲

L21104 多模態 AI

模態類型

• 文字 / 影像 / 語音 / 感測器資料

演進三階段

• 早期:特徵串接 + 傳統 ML
• 深度學習:模態專屬網路 + 融合層
• 現代:Transformer + Self-Attention 統一架構

融合策略

• Early Fusion 早期融合(資料層級)
• Late Fusion 晚期融合(特徵 / 決策層級)

代表模型

• CLIP(對比學習圖文對齊;零樣本分類)
• BLIP / BLIP-2(視覺問答 VQA)
• Flamingo(Few-shot 多模態)
• ImageBind(整合 6 種模態)
• M3AE
• GPT-4V / Gemini(多模態 LLM)

應用情境

• 智慧醫療(影像 + 病歷 + 時序)
• 自駕車(攝影 + 雷達 + LiDAR)
• 智慧城市(監控 + 感測 + 文字)
• 多模態缺失對策
• 訓練模態缺失感知模型(優於零向量填充)

L212 AI 導入評估規劃

L21201 AI 導入評估

業務需求分析

• 痛點識別
• 跨部門訪談 / 利益關係人(Stakeholders)
• As-Is vs To-Be 流程差異
• KPI 設定

技術可行性評估

• 資料品質(完整性、一致性、代表性)
• IT 能力與系統整合(伺服器、雲端、ETL)
• AI 適配性(監督 / 非監督 / 強化 / 生成)

成本效益分析

• ROI 投資報酬率
• 公式:(回報 − 成本) / 成本 × 100%
• NPV 淨現值
• 公式:Σ(現金流ₜ / (1+r)ᵗ) − 初始投資
• Payback Period 回收期
• 公式:初始投資 / 年淨現金流
• 限制:未考慮時間價值

組織成熟度盤點

• 數位成熟度(Digital Maturity)
• 資料治理(Data Governance)
• 跨部門協作能力

風險辨識

• 法規(GDPR / PDPA / HIPAA / PCI-DSS)
• 資料隱私
• 模型穩定性 / 黑箱風險
• 組織變革阻力

POC(概念驗證)

• 條件設計
• 範圍清晰、風險可控
• 具代表性業務流程
• 資料與技術資源就緒
• 利益關係人支持
• 評估方式
• 量化:準確率、效能、成本節省
• 質化:使用者回饋

L21202 AI 導入規劃

規劃核心原則

• 情境 / 目的導向
• 資源盤點(資料、人力、預算)
• 彈性調整

人力資源角色

• 專案負責人 Project Manager
• 資料工程師
• AI 模型開發者
• UI/UX 設計師
• 業務顧問
• 系統架構師
• 測試工程師

任務分解與時程

• 甘特圖(Gantt Chart)
• 時間 + 任務,顯示關鍵路徑
• 工作分解結構(WBS)
• 由上而下拆解、責任明確
• 短衝(Sprint)
• 1–4 週固定週期
• Scrum 三角色:Product Owner、Scrum Master、Development Team
• 五活動:Sprint Planning、Daily Scrum、Sprint Review、Sprint Retrospective、Sprint
• 三產出:Product Backlog、Sprint Backlog、Increment

跨部門協作

• 協作流程設計
• 例行同步節奏(週例會)
• 共用工具平台(Jira、Notion、Slack)

任務追蹤工具

• Trello(Kanban,輕量)
• Asana(任務分層 + 時間軸)
• JIRA(技術團隊 + 敏捷)
• ClickUp(混合彈性)

三種導入模式

• 商業服務(Low/No-code、AutoML)
• 快速、技術門檻低
• 限制:彈性低、長期成本、隱私
• 內部開發
• 高度客製、自主性
• 需充足技術人才
• 委外開發
• 借助專業
• 需注意合約 + 資料安全

L21203 AI 風險管理

風險類型三層

• 技術層
• 資料品質
• 模型穩定性
• 黑箱風險(→ XAI 可解釋 AI)
• 對抗性攻擊(→ Adversarial Training)
• 產出不確定性
• 組織人力層
• 跨部門溝通
• 技能短缺
• 變革抗拒
• 法規層
• 個資與隱私
  • GDPR(歐盟)
  • PDPA(台灣)
  • CCPA(美加州)
  • HIPAA(美醫療)
  • PCI-DSS(支付卡)
• 侵權風險

GDPR 七大資料主體權利

• 刪除權 / 遺忘權(Art.17)
• 修正權(Art.16)
• 資料可攜權(Art.20)
• 反對自動化決策權(Art.22)
• 查閱權(Art.15)
• 處理限制權(Art.18)
• 同意原則(Art.6/7)

風險評估工具

• 風險矩陣(發生機率 × 影響程度)
• 風險等級(低 / 中 / 高)
• 風險緩解策略(轉移、規避、降低、接受)

XAI 可解釋 AI

• 應用情境(高風險場景)
• 醫療診斷
• 金融風控
• 招聘 / 教育
• 公部門 / 法務
• 工具
• SHAP
• LIME
• Partial Dependence Plot

L213 AI 技術應用與系統部署

L21301 數據準備與模型選擇

• 資料品質檢核
• 特徵工程基礎
• 模型選型考量

L21302 AI 技術系統集成與部署

部署模式

• Batch Serving(批次,如每日報表)
• Real-time Serving(即時 API)
• Edge Serving(邊緣裝置 / On-prem)

容器化與編排

• Docker(容器化)
• Kubernetes(編排管理、自動擴展、Pod 排程)
• Auto Scaling 自動彈性伸縮

高吞吐架構

• 水平擴展 + Auto Scaling(優於垂直擴展)
• Message Queue(Kafka)
• Stream Processing(Flink、Spark Streaming)

MLOps 流程

• CI/CD
• 每次 commit 觸發測試
• Model Registry(MLflow)
• Feature Store
• 持續監控

部署策略

• Canary Release(金絲雀發布,5% 流量試用)
• Phased Rollout(漸進式部署,從單一專科逐步擴展)
• A/B Testing
• Shadow Deployment
• 藍綠部署

漂移偵測

• Data Drift(輸入分佈改變)
• PSI(Population Stability Index)
  • <0.1 穩定 / 0.1–0.25 警戒 / >0.25 顯著
• KL Divergence
• Concept Drift(輸入–標籤關係改變)
• Model Drift(模型效能下滑)

工具

• MLflow、Weights & Biases、SageMaker、Vertex AI、Kubeflow

不可否認性(金融監管)

• 加密雜湊值 Hash
• 數位簽章 Digital Signature

對抗性攻擊防禦

• 前處理過濾
• Adversarial Training(訓練中)
• 規則引擎(後處理)
• 注意:網路防火牆「不」針對模型脆弱性