能否提供1.58bit量化模型的具体实现参考

[DemoAuguste]

尝试使用提供的sherry和TWN进行1.58bit量化均失败，模型输出乱码，能否提供更加详细的指导说明。

[GeoMorax]

用这个参数

deepspeed --hostfile=$HOST_PATH --master_addr $CHIEF_IP  train_llama.py \
--dataset_root "ultrafineweb-10b" \
--local_dir "/path/to/output" \
--model_path "/path/to/model" \
--model_family "llama" \
--dataset "ultrafineweb-10b" \
--dataset_format "pt" \
--output_model_filename "1B" \
--quant_method "sherry" \
--w_bits 0 \
--N 3 \
--M 4 \
--eps 1e-3 \
--granularity "per_group" \
--group_size 128 \
--num_train_epochs 1.0 \
--model_max_length 1024 \
--pt_context_len 1024 \
--source_max_len 1024 \
--target_max_len 1024 \
--do_train True \
--do_eval True \
--fp16 False \
--bf16 True \
--log_on_each_node False \
--logging_dir "../../output/Llama-3.2-1B" \
--per_device_train_batch_size 16 \
--per_device_eval_batch_size 16 \
--gradient_accumulation_steps 1 \
--save_strategy "steps" \
--save_steps 1000 \
--report_to "none" \
--save_total_limit 40 \
--weight_decay 0. \
--warmup_ratio 0.61 \
--lr_scheduler_type "warmup_stable_decay" \
--my_lr_scheduler_kwargs '{"min_lr_ratio" : 1e-1, "num_decay_steps" : 14592, "num_stable_steps" : 0}' \
--logging_steps 1 \
--tf32 False \
--gradient_checkpointing False \
--qat True 
--qat True \
--do_mmlu_eval True \
--eval_tasks piqa,arc_easy,arc_challenge,hellaswag,winogrande 

32卡 可以生产出这个模型：https://huggingface.co/MoraxGeo/Sherry-1B-1.25bit-per-group