FROM D:\yt-ai-store\artifacts\yt-ai\gguf\yt-ai-v14-f16.gguf

TEMPLATE """{{- range .Messages }}
{{- if eq .Role "system" }}<|im_start|>system
{{ .Content }}<|im_end|>
{{- else if eq .Role "user" }}<|im_start|>user
{{ .Content }}<|im_end|>
{{- else if eq .Role "assistant" }}<|im_start|>assistant
{{ .Content }}<|im_end|>
{{- end }}
{{- end }}<|im_start|>assistant
<think>

</think>

{{ .Response }}<|im_end|>"""

PARAMETER num_ctx 2048
PARAMETER num_gpu 0
PARAMETER temperature 0.1
PARAMETER top_p 0.8
PARAMETER top_k 20
PARAMETER seed 2
PARAMETER repeat_penalty 1.1
PARAMETER stop <|im_end|>