Модель обучена на миксе инструкционных датасетов, способна отвечать на вопросы, и выполнять несложные инструкции
Из обучающей выборки были исключены арифметические задачи, поэтому считать модель не умеет
Для запуска можно использовать следующий код:
import torch
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
from transformers import GenerationConfig
tokenizer = AutoTokenizer.from_pretrained("SiberiaSoft/SiberianFredT5-instructor")
model = AutoModelForSeq2SeqLM.from_pretrained("SiberiaSoft/SiberianFredT5-instructor")
model.eval()
def generate(prompt):
data = tokenizer('<SC6>' + prompt + '\nОтвет: <extra_id_0>', return_tensors="pt")
data = {k: v.to(model.device) for k, v in data.items()}
output_ids = model.generate(
**data, do_sample=True, temperature=0.2, max_new_tokens=512, top_p=0.95, top_k=5, repetition_penalty=1.03, no_repeat_ngram_size=2
)[0]
out = tokenizer.decode(output_ids.tolist())
out = out.replace("<s>","").replace("</s>","")
return out
while 1:
print(generate(input("Введите промпт и фразу: ")))
print("====================")
Можно просто задавать ей разные вопросы:
Что такое циновка?
Как сделать десерт из клубники?
Промпт, который выделяет из фразы ключевые слова и сразу ставит их в нормальную форму:
Выдели ключевые слова: Мы праздновали день рождения друга и подарили ему подарок
Промпт для выделения главной мысли в предложении (суммаризация предложения):
Выдели главные мысли в предложении: Чтение книг важно не только для развития нашего интеллекта, но и для расширения кругозора и понимания различных культур и мировоззрений.
Промпт для определения тематики предложения:
Определи тематику: В наше время все больше и больше людей занимаются йогой.
Промпты для придумывания вопросов:
Придумай вопросы на тему Политика
Придумай 5 вопросов к собеседнику на тему детство
Придумай другие варианты вопроса: Кем ты работаешь?
Придумай вопросы к этому тексту: "К особым префектурам можно отнести Токио, Киото, Осаку и Хоккайдо. В период Эдо (1603—1867), сёгунат установил 9 городских районов, которыми управляли чиновники из центра (奉行支配地), и 302 районных города, которыми управляли городские чиновники (郡代支配地). С наступлением эпохи Мэйдзи 9 городских центров были превращены в округа фу, а 302 районных города — в префектуры кэн. В 1871 г., после административной реформы, в Японии было установлено 3 городских префектур фу — Токио, Киото и Осака. В 1943 г. городская префектура Токио была переименована в столицу то (хотя закона о столице утверждено не было).",
Промпт для предсказания последствий действия:
Что произойдет дальше: Я выиграл в лотерею
Промпт для объяснения чего-то простыми словами:
Объясни ребенку тему виды отдыха.
Промпт для решения проблем:
Реши проблему: Борьба с низкой самооценкой.
Промпт для раскрытия анафоры по предыдущей фразе
Раскрой анафору последней фразы в диалоге: "футбол ты любишь?" , "нет",
Промпт для ответа на вопрос по тексту:
Текст:\nПервые благотворительные фонды возникли в начале XX в. в США, благодаря усилиям известного промышленника и филантропа Джона Рокфеллера. Именно Дж. Рокфеллер выдвинул идею поставить благотворительность на регулярную основу, предложив создать трест благотворительности [6]. Первой организацией такого типа стал Совет по всеобщему образованию (1902 г.), позднее вошедший в состав фонда Рокфеллера. Примеру Рокфеллера последовали и другие крупные предприниматели США: Эндрю Карнеги, Билл Гейтс и другие.\n\nИсходя из текста выше, 'где возникли благотворительные фонды'\n
Промпт для продолжения диалога с контекстом:
Я парень, программист. Увлекаюсь эзотерикой и конспирологией. Пишу фантастику. Люблю природу. Недавно, у меня был следующий диалог:\nТы: Ты знаешь, фантастика меня всегда привлекала. Что-нибудь интересное можешь порекомендовать?\nЯ: Если тебе нравится научная фантастика, то обязательно прочитай Война миров Герберта Уэллса. Очень увлекательная история о захвате Земли инопланетными существами.\nТы: А ты не считаешь, что на самом деле существует возможность контакта с другими цивилизациями во Вселенной?\nЯ: Мы точно не знаем, что на самом деле находится в космосе и какие существа могут обитать где-то далеко от нашей планеты. Многие теории конспирологов и эзотериков говорят о существовании инопланетян и их влиянии на нашу жизнь.\nТы: А есть ли у тебя какие-то любимые книги или фильмы в жанре фантастики?\nЯ:
Кроме вышеназванных промптов, в обучающей выборке было множество других, поэтому вы может просто придумать свой промпт, главное, не забывайте - модель не предназначена для арифметических действий и генерации программного кода
- Downloads last month
- 9