irodkin

/

ARMT-llama3.2-1B

like 0

Здравствуйте, @Svyatoblood . ARMT -- новая архитектура, находится на этапе исследований и пока не может быть запущена с помощью ollama и других сервисах эффективного запуска моделей. Для запуска необходимо воспользоваться скриптом из репозитория на гитхабе: https://github.com/RodkinIvan/associative-recurrent-memory-transformer/blob/llama_armt/scripts/pg19/finetune_armt_llama3.2_pg19.sh. Параметры зависят от того, какой именно чекпоинт Вы будете запускать. За этими параметрами нужно обращаться ко мне.

Такое неудобство использования связано в первую очередь с тем, что этот архив служит пока лишь удобным хранилищем весов для обмена ими внутри нашей исследовательской группы. Прошу прощения за неудобства и спасибо за интерес к нашей модели. Ознакомиться с архитектурой вы можете в статье: https://arxiv.org/abs/2407.04841

Спасибо за объяснение, ещё такой вопрос, наткнулся на вашу работу пока изучал подобное решение от Гугл, репозиторий на гитхабе https://github.com/lucidrains/titans-pytorch возможно вам пригодится.

И по поводу параметров для последней версии можете скинуть? Если проблемно опубликовать в открытом доступе можно в тг или дискорде ник тот же @svyatoblood

Воспользуйтесь параметрами в этом скрипте (https://github.com/RodkinIvan/associative-recurrent-memory-transformer/blob/llama_armt/scripts/pg19/finetune_armt_llama3.2_pg19.sh) для запуска этого чекпоинта (https://huggingface.co/irodkin/ARMT-llama3.2-1B/blob/main/armt_llama3.2-1B_step19500.bin)

Однако имейте в виду, что это не инструктивная модель и она лишь немного запретрейнена на относительно маленьком текстовом датасете. Она не предназначена для диалога и выполнения запросов

В статье https://arxiv.org/abs/2407.04841 использовались более маленькие модели под специфичные задачи

Воспользуйтесь параметрами в этом скрипте (https://github.com/RodkinIvan/associative-recurrent-memory-transformer/blob/llama_armt/scripts/pg19/finetune_armt_llama3.2_pg19.sh) для запуска этого чекпоинта (https://huggingface.co/irodkin/ARMT-llama3.2-1B/blob/main/armt_llama3.2-1B_step19500.bin)

Приветствую! А как параметры из этого скрипта помогут запустить чекпоинт для инференса, если это скрипт для файнтюна?

Воспользуйтесь параметрами в этом скрипте (https://github.com/RodkinIvan/associative-recurrent-memory-transformer/blob/llama_armt/scripts/pg19/finetune_armt_llama3.2_pg19.sh) для запуска этого чекпоинта (https://huggingface.co/irodkin/ARMT-llama3.2-1B/blob/main/armt_llama3.2-1B_step19500.bin)

Приветствую! А как параметры из этого скрипта помогут запустить чекпоинт для инференса, если это скрипт для файнтюна?

Добрый день. Из скрипта можно взять параметры (d_mem, segment_size == input_tokens, layers_attr), создать аналогично питоновскому скрипту (на который ссылается баш скрипт) модель и запустить чекпоинт.

Также в скрипте можно написать параметр --validate_only который запустит валидацию на pg19, вместо тренировки.

К сожалению, пока только так, спасибо за ваш интерес к ARMT. Пока исследования оптимального применения ARMT к большим языковым моделям идут и поэтому удобством использования модели мы пока не занимались

Спасибо за ответ!
А где взять вот этот датасет? Я же правильно понимаю, что если у вас [mem]_токены, то токенизируется pg_19 как-то по другому?
TOKENIZED_DATASET=~/rmt/datasets/pg19/pg19_tokenized

Спасибо за ответ!
А где взять вот этот датасет? Я же правильно понимаю, что если у вас [mem]_токены, то токенизируется pg_19 как-то по другому?
TOKENIZED_DATASET=~/rmt/datasets/pg19/pg19_tokenized

Нет, mem-токены инкапcулированы в модель (при взаимодействии с моделью о них можно не задумываться), они никак не влияют на словарь. Это оригинальный датасет pg19 (https://huggingface.co/datasets/deepmind/pg19) токенизированный токенайзером llama3.2 c полями input_ids и attention_mask.