距離上篇在 Early Access Playground 試用 o1 模型後又過了兩週，今天終於等到 API 開放使用啦！本篇將紀錄如何使用 Python SDK 存取 o1 模型。 系列文章 【Azure OpenAI】快速試用 o1 模型 模型佈署 在先前開放的 Early Access Playground 中使用 o1 是不需要另外佈署模型的，不過回到使用 API 來存取 o1 模型，就需要像之前的模型一樣先進行佈署才能使用，相信大家都很熟悉了。 使用 Python SDK 一樣使用熟悉的 openai 套件： 2024-09-01-preview 初始化的方式與先前模型都一樣，需要注意的是 o1 模型目前只能使用最新的 API 版本 2024-09-01-preview 來訪問。 Chat Completions 將 model 填入 o1-preview ，或是你的模型佈署名稱， messages 也一樣是歷史對話堆疊的 List。 回應如下： 查看 Token 使用量 內建 Chain of Thought 的 o1 比起過往的模型會消耗較多的 Token，因此我們特別把 Token 使用量拉出來看。 回應如下： 其中 prompt_tokens 、 completion_tokens 、 total_tokens 在先前的 API 就已經存在了，分別代表Token 的 Input、Output 與總使用量，而在新的 completion_tokens_details 中可以看到 reasoning_tokens 使用了 320 個 Tokens，居然佔了總輸出 Token 的 80% 以上！ 控制 Token 成本 已往我們可以使用 max_tokens 參數來控制 Token 的用量，但在 o1 模型中棄用了 max_tokens ，取而代之的是使用 max_completion_tokens 參數，來看看這段程式碼： 回應如下： 沒東西？那再看一次 Token 量。 回應如下： Token 居然是有被使用的！ 這表示 max_completion_tokens 並不像過往使用 max_tokens 這麼簡單，先前在回應遇到...
接續前一篇，我們會繼續完成出站與入站的流量設定，還沒看過上一篇的朋友建議從以下連結開始觀看。
相關連結：【Azure Firewall】使用 Azure 防火牆限制出入站流量（上）
架構說明
回顧這次要建立的架構圖，詳細說明請查看上篇。
 |
| 本次 Demo 架構圖 |
建立 Azure VM
首先我們需要先把模擬內部環境的 Azure VM 搭起來，不過因為 VM 不是本篇的重點，這邊就快速提幾個需要注意的設定就好。
影像選擇 Windows 比較方便做測試。
 |
| Windows 10 |
Administrator 帳號密碼牢記，RDP 3389 不要改。
 |
| 牢記帳號密碼 |
網路設定最重要，記得將 VM 放入上篇建立的子網路中。另外這邊 VM 不需要公用 IP，因為我們的入站連線會由 Firewall 走內部網路進入。
 |
| VM 不需要公用 IP |
設定完成等待 VM 建立完成後，一樣需要記下 VM 的內部 IP，以我的 VM 是 10.0.1.4。
 |
| 記下 VM 的內部 IP |
設定 DNAT 規則
接著我們從入站流量開始設定，在 Azure Firewall 中是使用 DNAT 規則來管理入站流量。找到我們前一篇中建立 Azure Firewall 時順帶建立的 Firewall Policy，選到左側的「DNAT 規則」點擊「新增規則集合」。
 |
| 新增規則集合 |
隨意填入名稱後，其他設定保持域設選項，而規則部分需要依序完成以下設定：
- 來源類型：IP 位址。
- 來源：*，測試使用不限制訪問的來源。
- 通訊協定：TCP。
- 目的地連接埠：3389。
- 目的地 (防火牆 IP 位址)：輸入剛剛記下的防火牆公用 IP。
- 已翻譯的類型：IP 位址。
- 已翻譯的位址或 FQDN：輸入剛剛記下的 VM 私人 IP。
- 已轉譯連接埠：3389。
大約需要 5 分鐘，設定才會生效。
 |
| 設定 DNAT 規則 |
設定應用程式規則
再來是出站流量，因為會透過 FQDN 方式訪問 Google 網頁，這邊需要設定一條「允許」的「應用程式規則」，設定方式大同小異，而規則部分如下：- 來源類型：IP 位址。
- 來源：*，限制所有出站來源。
- 通訊協定：http, https。
- 目的地類型：FQDN。
- 目的地：www.google.com。
一樣大約需要 5 分鐘，設定才會生效。
 |
| 設定應用程式規則 |
設定網路規則
因為上述的 FQDN 需要搭配 DNS 使用，所以我們還需要開通對 DNS 的設定，這邊選擇的是公用 DNS 伺服器：209.244.0.3 與 209.244.0.4，規則設定如下：
- 來源類型：IP 位址。
- 來源：*，限制所有出站來源。
- 通訊協定：UDP。
- 目的地連接埠：53。
- 目的地類型：IP 位址。
- 目的地：209.244.0.3,209.244.0.4。
一樣 5 分鐘等待設定生效。
 |
| 設定網路規則 |
建立路由表
架構圖中並沒有路由表這項服務，但我們需要將 VM 預設的出站流量先導入 Firewall，否則上述的設定就白費了，而路由表可以用來修改預設路由。
 |
| 建立路由表 |
建立的時候沒有太多設定，注意地區都選在同一個就好。
新增路由
進入路由表頁面左側的「路由」頁籤，點選新增後如下完成設定：
- 目的地類型：IP 位址。
- 目的地：0.0.0.0/0。
- 下一個躍點類型：虛擬設備。
- 下一個躍點位址：輸入剛剛記下的防火牆私人 IP。
基本上可以把這個設定理解成：到任何地方 (0.0.0.0/0) 的流量都需要先進入 Firewall，這段走的都是內網，所以下一個躍點位址是防火牆的私人 IP。
 |
| 新增路由 |
路由表綁定子網路
切換到左側「子網路」頁籤，點選「關聯」後選到 VM 所在的子網路。 |
| 綁定子網路 |
這樣被綁定的子網路就會吃到上述路由的設定，也就是所有出站流量都會先走到 Firewall。
最終測試
終於我們完成所有的設定，可以開始進行測試了。測試由入站的 RDP 流量開始，記得訪問的是 Firewall 的外部 IP 而不是直接連線 VM，其實想連線 VM 也沒辦法，畢竟沒有對外 IP 給你連 😅隨意找一台在外部的 Windows，直接使用遠端桌面連線測試，輸入在建立 VM 時的 Administrator 帳號密碼。
 |
| RDP 連線到 Firewall |
這時因為 Firewall 的 DNAT 規則，流量會走內部被轉到 VM 的私人 IP 上，於是可以看到正常連線成功的畫面：
 |
| RDP 連線成功 |
接著在 VM 內開啟 Edge 測試，訪問到 http://www.google.com。
 |
| 可以訪問 Google 首頁 |
最後訪問一個不在白名單上的網頁：https://charliewei.net/，
 |
| 無法訪問其他網頁 |
連線失敗😭😭😭
總結
我們使用 Azure Firewall 完成了一個常見的出入站限制設定，保有 PaaS 服務的優點，不需要像傳統地端一樣另外架設 VM 來處理防火牆，而是把心力放在安排流量的設定，Azure Firewall 也內建了許多阻擋惡意流量的功能，這方面就可以完全交由 Azure 處理，使用起來真的很方便！
留言
張貼留言