type
status
date
slug
summary
tags
category
icon
password
comments
大模型入门tokenizer
大型语言模型在处理的时候会遇到很多问题，大多数是由于分词问题
MEGABYTE：Predicting Million-byte Sequences with Multiscale Transformers
提出分层式的Transformer，可能允许直接输入原始字节
欢迎您在底部评论区留言，一起交流~
- 作者:于淼
- 链接:https://yumiao1.com/article/26669159-6c5f-805f-bbd2-c775a12de4bd
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
