Mixtral-8x7B 用モデルカード 高品質のスパース混合エキスパート。

Mixtral-8x7Bラージ言語モデル(LLM)は、事前に学習された生成的な専門家のスパース混合物です。Mixtral-8x7Bは、テストしたほとんどのベンチマークでLlama 2 70Bを上回りました。

このモデルの詳細については リリースブログ記事.

イメージ15

このレポには、以下と互換性のあるウェイトが含まれています。 ブイエルエルエム ハグと同様、モデルにもサービス 変圧器 ライブラリです。オリジナルのミクストラル 奔流リリースただし、ファイル形式とパラメータ名は異なります。モデルは(まだ)HFでインスタンス化できないことに注意してください。

イメージ14

この形式を厳密に守らなければ、モデルは最適でない出力を生成してしまう。

インストラクターモデルのプロンプトを作成するために使用されるテンプレートは、以下のように定義されている:

 [INST]インストラクション [/INST]模範解答 [INST]フォローアップのインストラクション [/INST]。

ということに注意してほしい。  そして  INST]と[/INST]は通常の文字列である。

参考までに、微調整中に命令をトークン化するのに使われる擬似コードを以下に示す:

def tokenize(text):
    return tok.encode(text, add_special_tokens=False)

BOS_ID] + [BOS_ID
tokenize("[INST]") + tokenize(USER_MESSAGE_1) + tokenize("[/INST]") + [BOS_ID] + [BOT_MESSAGE_1)
トークン化(BOT_MESSAGE_1) + [EOS_ID] + ...
...
tokenize("[INST]") + tokenize(USER_MESSAGE_N) + tokenize("[/INST]") + ...
tokenize(BOT_MESSAGE_N) + [EOS_ID] ...

上の擬似コードでは トークン化 メソッドは、BOSまたはEOSトークンを自動的に追加すべきではありません。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(model_id)

text = "こんにちは、私の名前は"
入力 = tokenizer(text, return_tensors="pt")

出力 = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

デフォルトでは、トランスフォーマーは完全な精度でモデルをロードします。したがって、HFエコシステムで提供している最適化によって、モデルを実行するために必要なメモリをさらに削減することに興味があるかもしれません:

半精度

注 float16 precisionはGPUデバイスでのみ動作しますクリックで拡大

低精度(8ビットと4ビット)を使用する。 ビッツアンドバイト

クリックで拡大

フラッシュ・アテンション2でモデルを読み込む

クリックで拡大

Mixtral-8x7Bのインストラクター・モデルは、ベース・モデルを簡単に微調整して、魅力的なパフォーマンスを達成できることを示すものだ。このモデルには節度メカニズムがありません。私たちは、このモデルを細かくガードレールを尊重し、節度ある出力を必要とする環境での展開を可能にする方法について、コミュニティと関わることを楽しみにしています。

ミストラルAIチーム

Albert Jiang, Alexandre Sablayrolles, Arthur Mensch, Blanche Savary, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Emma Bou Hanna, Florian Bressand, Gianna Lengyel, Guillaume Bour、ギョーム・ランプル、レリオ・ルナール・ラヴォー、ルイ・テルノン、ルシル・ソルニエ、マリー=アンヌ・ラショー、ピエール・ストック、テヴェン・ル・スカオ、テオフィル・ジェルヴェ、ティボー・ラヴリル、トーマス・ワン、ティモテ・ラクロワ、ウィリアム・エル・サイード

jaJapanese