メインコンテンツに直接移動

Groq

OpenHandsは、GroqのチャットモデルへのAPIコールにLiteLLMを使用します。Groqをプロバイダーとして使用する方法については、こちらのドキュメントを参照してください。

設定​

OpenHandsを実行する際、OpenHandsのUIで設定メニューから以下の項目を設定する必要があります：

  • LLMプロバイダーをGroqに設定
  • LLMモデルを使用するモデルに設定。Groqがホストするモデルのリストはこちらを参照してください。モデルがリストにない場合は、詳細設定を有効にし、カスタムモデルに入力してください（例：groq/<model-name>としてgroq/llama3-70b-8192）。
  • APIキーをGroq APIキーに設定。Groq APIキーの確認または作成については、こちらを参照してください。

OpenAI互換エンドポイントとしてのGroqの使用​

Groqのチャット補完エンドポイントは主にOpenAI互換です。そのため、他のOpenAI互換エンドポイントと同様の方法でGroqのモデルにアクセスできます。OpenHandsのUIで設定メニューから以下の項目を設定します：

  • 詳細設定を有効にする
  • カスタムモデルにプレフィックスopenai/と使用するモデルを設定（例：openai/llama3-70b-8192）
  • ベースURLをhttps://api.groq.com/openai/v1に設定
  • APIキーをGroq APIキーに設定