GenerativeModel


class GenerativeModel : AutoCloseable


Ein Moderator für ein bestimmtes Systemmodell.

Zusammenfassung

Öffentliche Konstruktoren

GenerativeModel(
    generationConfig: GenerationConfig,
    downloadConfig: DownloadConfig
)

Öffentliche Funktionen

open Unit

Schließt den Client und gibt seine Ressourcen frei.

suspend GenerateContentResponse
generateContent(vararg prompt: Content)

Er generiert eine Antwort aus dem Systemmodell mit den angegebenen Contents.

suspend GenerateContentResponse

Generiert eine Antwort vom Systemmodell mit dem angegebenen Text, der durch Content dargestellt wird.

Flow<GenerateContentResponse>
generateContentStream(vararg prompt: Content)

Generiert eine Streamingantwort aus dem Systemmodell mit den angegebenen Contents.

Flow<GenerateContentResponse>

Generiert eine Streamingantwort vom Systemmodell mit dem angegebenen Text, der als Content dargestellt wird.

suspend <Error class: unknown class>

Die Engine wird im Voraus vorbereitet, um den Zeitaufwand für die Inferenz zu reduzieren.

Öffentliche Unterkünfte

DownloadConfig

die Konfiguration für den Download des Systemmodells

GenerationConfig

Konfigurationsparameter für die Inhaltsgenerierung

Öffentliche Konstruktoren

GenerativeModel

GenerativeModel(
    generationConfig: GenerationConfig,
    downloadConfig: DownloadConfig = DownloadConfig()
)

Öffentliche Funktionen

Schließen

open fun close(): Unit

Schließt den Client und gibt seine Ressourcen frei.

generateContent

suspend fun generateContent(vararg prompt: Content): GenerateContentResponse

Er generiert eine Antwort aus dem Systemmodell mit den angegebenen Contents.

Parameter
vararg prompt: Content

Eine Gruppe von Contents, die an das Modell gesendet werden sollen.

Returns
GenerateContentResponse

GenerateContentResponse nach einiger Verzögerung. Die Funktion sollte in einem Suspend-Kontext aufgerufen werden, um die Parallelität richtig zu verwalten.

generateContent

suspend fun generateContent(prompt: String): GenerateContentResponse

Generiert eine Antwort vom Systemmodell mit dem angegebenen Text, der durch Content dargestellt wird.

Parameter
prompt: String

Der Text, der in ein einzelnes Content umgewandelt und an das Modell gesendet werden soll.

Returns
GenerateContentResponse

GenerateContentResponse nach einiger Verzögerung. Die Funktion sollte in einem Suspend-Kontext aufgerufen werden, um die Parallelität richtig zu verwalten.

generateContentStream

fun generateContentStream(vararg prompt: Content): Flow<GenerateContentResponse>

Generiert eine Streamingantwort aus dem Systemmodell mit den angegebenen Contents.

Parameter
vararg prompt: Content

Eine Gruppe von Contents, die an das Modell gesendet werden sollen.

Returns
Flow<GenerateContentResponse>

Ein Flow, das Antworten ausgibt, sobald sie vom Modell zurückgegeben werden.

generateContentStream

fun generateContentStream(prompt: String): Flow<GenerateContentResponse>

Generiert eine Streamingantwort vom Systemmodell mit dem angegebenen Text, der als Content dargestellt wird.

Parameter
prompt: String

Der Text, der in ein einzelnes Content umgewandelt und an das Modell gesendet werden soll.

Returns
Flow<GenerateContentResponse>

Ein Flow, das Antworten ausgibt, sobald sie vom Modell zurückgegeben werden.

prepareInferenceEngine

suspend fun prepareInferenceEngine(): <Error class: unknown class>

Die Engine wird im Voraus vorbereitet, um den Zeitaufwand für die Inferenz zu reduzieren. Der Aufruf dieser Methode ist streng optional. Wir empfehlen jedoch, sie weit vor dem ersten Inferenzaufruf aufzurufen, um die Latenz der ersten Inferenz zu minimieren.

Öffentliche Unterkünfte

downloadConfig

val downloadConfigDownloadConfig

die Konfiguration für den Download des Systemmodells

generationConfig

val generationConfigGenerationConfig

Konfigurationsparameter für die Inhaltsgenerierung