eridai/erida-Inari-50125

Код-пример для запуска

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_PATH = "eridai/erida-hotei-50125"

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_PATH,
    torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
    trust_remote_code=True
)
device = "cuda" if torch.cuda.is_available() else "cpu"
model = model.to(device)

prompt = "Почему трава зеленая?"

messages = [
    {"role": "system", "content": "Ты — доброжелательный ассистент, отвечающий на русском языке."},
    {"role": "user", "content": prompt}
]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt",
    enable_thinking=True  # режим рассуждения
).to(device)

with torch.no_grad():
    outputs = model.generate(
        input_ids,
        max_new_tokens=1024,
        temperature=0.6,
        repetition_penalty=1.1,
        do_sample=True,
        pad_token_id=tokenizer.pad_token_id,
        eos_token_id=tokenizer.eos_token_id
    )

response_ids = outputs[0][len(input_ids[0]):]
generated_text = tokenizer.decode(response_ids, skip_special_tokens=True)
print(generated_text.strip())

Результат генерации:

Промпт: Привет! Почему трава зеленая?

Ответ: <think>
Хорошо, пользователь спрашивает, почему трава зелена. Нужно ответить на это сначала. Но вдруг он ошибся, и хочет узнать о других цветах? Надо уточнить, чтобы не возникнуть путаницы.

Может быть, пользователь не уверен, что именно заставляет траву зеленой. Может быть, он подумал о другом объекте, который придает зелёный оттенок. В таком случае, стоит предложить рассказать о разных причинах, а затем запросить дополнительную информацию, чтобы понять, какие именно факторы влияют на внешний вид цвета.

Важно сохранить дружелюбные и понятные речь, избегая сложных терминов. Убедиться, что ответ понятен для пользователя, возможно, сопроводя примерами или объяснениями.
</think>

Трава зеленая, потому что её цвет отражает свет и создает пейзаж. Она является результатом биологических процессов: непрерывное превращение солнечного света в энергию, которая используется для жизни организма. Зеленьная окраска также служит защитной функцией — она защищает растения от UV-излучение. Если вы имеете в виду, например, какой-либо конкретной трава (например, листья, корни или цветы), могу помочь раскрыть детали! 😊