如何讓 Ollama 在 Linux 上對外開放連線

適用環境：Linux 系統（包含 Proxmox LXC 容器）
目標：讓 Ollama 服務可以接受外部機器的連接請求

問題診斷

# 檢查 Ollama 是否正在執行
ps aux | grep ollama
 
# 檢查 Ollama 偵聽的 ip 和 port
sudo ss -tlnp | grep 11434

如果看到 127.0.0.1:11434，表示 Ollama 只偵聽本機連線，需要修改設定

sudo mkdir -p /etc/systemd/system/ollama.service.d/

sudo tee /etc/systemd/system/ollama.service.d/override.conf << EOF
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
EOF

# 重新載入 systemd 設定
sudo systemctl daemon-reload
 
# 重啟 Ollama 服務
sudo systemctl restart ollama

# 檢查是否監聽所有介面
sudo ss -tlnp | grep 11434

成功標誌：應該看到 0.0.0.0:11434 而不是 127.0.0.1:11434

# 測試本機連線
curl http://localhost:11434/api/tags

驗證成功後，你應該會看到類似以下的 JSON 回應，列出所有已安裝的模型。

如果上述 systemd 設定方法無法正常運作，可以嘗試手動啟動 Ollama 服務：

# 停止 systemd 服務
sudo systemctl stop ollama
 
# 手動啟動並設定環境變數
sudo OLLAMA_HOST=0.0.0.0:11434 /usr/local/bin/ollama serve

確保防火牆允許 11434 port 的連線：

# 檢查防火牆狀態
sudo ufw status
 
# 如需要，開放 11434 port
sudo ufw allow 11434

安全提醒：對外開放 Ollama 服務時，請確保網路環境安全，避免未授權存取。建議僅在信任的內網環境中開放，或搭配 VPN、反向代理等安全措施使用。

透過修改 systemd 服務設定，我們可以輕鬆讓 Ollama 服務從只接受本地連線改為接受所有網路介面的連線。完整的設定步驟包括：

記得在開放服務前做好適當的安全措施，包括防火牆設定、網路隔離，以及評估是否需要額外的身份驗證機制。