Groq
OpenHandsはLiteLLMを使用してGroqのチャットモデルを呼び出します。Groqをプロバイダーとして使用する方法に関するドキュメントはこちらで確認できます。
設定
OpenHandsを実行する際、設定画面で以下の項目を設定する必要があります:
LLM Provider
をGroq
に設定LLM Model
を使用するモデルに設定。Groqがホストしているモデルのリストはこちらで確認できます。モデルがリストにない場合は、Advanced
オプションを有効にして、Custom Model
に入力してください(例:groq/<model-name>のようにgroq/llama3-70b-8192
)。API key
にGroq APIキーを設定。Groq APIキーの確認または作成については、こちらを参照してください。
GroqをOpenAI互換エンドポイントとして使用する
Groqのチャット完了エンドポイントはほぼOpenAI互換です。そのため、OpenAI互換エンドポイントと同様にGroqモデルにアクセスできます。OpenHandsのUI設定画面で:
Advanced
オプションを有効にする- 以下を設定する:
Custom Model
に接頭辞openai/
と使用するモデル名を組み合わせて設定(例:openai/llama3-70b-8192
)Base URL
をhttps://api.groq.com/openai/v1
に設定API Key
にGroq APIキーを設定