メインコンテンツに直接移動

ローカルLLM（SGLangまたはvLLM）の使用

警告

ローカルLLMを使用する場合、OpenHandsの機能が制限される可能性があります。 最適な体験を得るためには、GPUを使用してローカルモデルを提供することを強く推奨します。

ニュース​

  • 2025/03/31: SWE-Bench Verifiedで37.1%を達成するオープンモデルOpenHands LM v0.1 32Bをリリースしました （ブログ、モデル）。

Huggingfaceからモデルをダウンロード​

例えば、OpenHands LM 32B v0.1をダウンロードするには：

huggingface-cli download all-hands/openhands-lm-32b-v0.1 --local-dir all-hands/openhands-lm-32b-v0.1

モデル提供フレームワークでOpenAI互換エンドポイントを作成​

SGLangでの提供​

  • 公式ドキュメントに従ってSGLangをインストールします。
  • OpenHands LM 32B用の起動コマンド例（少なくとも2つのGPUが必要）：
SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1 python3 -m sglang.launch_server \
    --model all-hands/openhands-lm-32b-v0.1 \
    --served-model-name openhands-lm-32b-v0.1 \
    --port 8000 \
    --tp 2 --dp 1 \
    --host 0.0.0.0 \
    --api-key mykey --context-length 131072

vLLMでの提供​

  • 公式ドキュメントに従ってvLLMをインストールします。
  • OpenHands LM 32B用の起動コマンド例（少なくとも2つのGPUが必要）：
vllm serve all-hands/openhands-lm-32b-v0.1 \
    --host 0.0.0.0 --port 8000 \
    --api-key mykey \
    --tensor-parallel-size 2 \
    --served-model-name openhands-lm-32b-v0.1
    --enable-prefix-caching

OpenHandsの実行と設定​

OpenHandsの実行​

Dockerを使用​

公式のdocker実行コマンドを使用してOpenHandsを実行します。

開発モードを使用​

Development.mdの指示に従ってOpenHandsをビルドします。 make setup-configを実行してconfig.tomlが存在することを確認します。これにより設定ファイルが作成されます。config.tomlに以下を入力します：

[core]
workspace_base="/path/to/your/workspace"

[llm]
model="openhands-lm-32b-v0.1"
ollama_base_url="http://localhost:8000"

make runを使用してOpenHandsを起動します。

OpenHandsの設定​

OpenHandsが実行されたら、設定を通じてOpenHands UIで以下を設定する必要があります：

  1. Advancedオプションを有効にします。
  2. 以下を設定します：
  • Custom Modelをopenai/<served-model-name>（例：openai/openhands-lm-32b-v0.1）に設定
  • Base URLをhttp://host.docker.internal:8000に設定
  • API keyをモデル提供時に設定したのと同じ文字列（例：mykey）に設定