hungq/hust_sbert

SentenceTransformer based on keepitreal/vietnamese-sbert

This is a sentence-transformers model finetuned from keepitreal/vietnamese-sbert. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: keepitreal/vietnamese-sbert
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False, 'architecture': 'RobertaModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("hungq/hust_sbert")
# Run inference
sentences = [
    'kiện bảo đảm chất lượng, hiệu quả học tập và sự hài lòng của người học đối với các lớp \nhọc phần.  \n2. Kết quả học tập trong một học kỳ của sinh viên được đánh giá trên cơ sở điểm của \ncác học phần đã đăng ký học thuộc CTĐT nhưng không tính các học phần có điểm R và \n10 \n \n các học phần về ngoại ngữ cơ bản, Giáo dục thể chất, Giáo dục quốc phòng -an ninh, thể \nhiện bằng các chỉ số sau đây:  \na) Tổng số TC của các học phần có điểm đạt trong học kỳ (số TC đạt).  \nb) Tổng số TC của các học phần có điểm không đạt trong học kỳ (số TC không đạt).  \nc) Điểm trung bình học kỳ (GPA).',
    'c) Điểm trung bình học kỳ (GPA).  \n3. Kết quả tiến bộ học tập của sinh viên từ đầu khóa được đánh giá trên cơ sở điểm \ncủa các học phần đã học thuộc CTĐT nhưng không tính các học phần về ngoại ngữ cơ bản, \nGiáo dục thể chất, Giáo dục quốc phòng -an ninh, thể hiện bằng các chỉ số sau đây:  \na) Số TC tích lũy (số TCTL).  \nb) Tổng số TC của các học phần đã học nhưng chưa đạt từ đầu khóa (số TC nợ đọng).  \nc) Điểm trung bình tích lũy (CPA).  \n4. Kết quả học tập học kỳ hè được đánh giá ở kỳ chính kế tiếp.  \n5. Sinh viên được xếp hạng trình độ năm học căn cứ số TC tích lũy (TCTL) như sau:  \nSố TCTL  < 32 32 - 63 64 - 95 96 -127 ≥ 128',
    'cho một học phần yêu cầu trong chương trình.  \nb) Người học được phép học một học phần thay thế được  chỉ định để lấy kết quả \nthay cho một học phần yêu cầ u trong  chương trình  nhưng không còn được giảng dạ y.  \n6. Đề cương chi  tiết của từng  học ph ần thể hiện rõ khối lượng học tập, điều kiện \ntham dự học phần, mục tiêu và kết quả mong đợi, mức độ đáp ứng chuẩn  đầu ra của \nchương trình, cách thức đánh giá học phần, nội d ung và kế hoạ ch học tập, phương thức \nvà ngôn ngữ giảng dạy, gi áo trình và tà i liệu tham  khảo.  \nĐiều 5. Đi ểm học phần \n1. Một học phần từ 2 TC trở lên được đánh giá từ hai điểm thành phần là điểm',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.9360, 0.6081],
#         [0.9360, 1.0000, 0.5043],
#         [0.6081, 0.5043, 1.0000]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 11,033 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	label
  type	string	string	float
  details	min: 3 tokens mean: 173.46 tokens max: 256 tokens	min: 3 tokens mean: 172.3 tokens max: 256 tokens	min: 0.0 mean: 0.46 max: 1.0

• Samples:

  sentence_0	sentence_1	label
  2. Nguồn tài trợ hợp pháp từ các tổ chức, cá nhân và doanh nghiệp. Điều 5. Nguyên tắc xét cấp học bổng 1. Học bổng được xét, cấp cho người học hoặc nhóm người học có đề tài ĐATN góp phần cải tiến, nâng cao chất lượng, hiệu quả kinh doanh, sản xuất hoặc chất lượng các dịch vụ an sinh xã hội trong các cơ quan, tổ chức, doanh nghiệp tại quê hương của người học. 2. Học bổng được xét, cấp theo học kỳ và được thực hiện vào 2 học kỳ chính của năm học. 3. Học bổng được xét theo đơn vị quản ngành và theo thứ tự điểm đánh giá về mức độ ứng dụng của đề tài ĐATN từ cao xuống thấp; trường hợp điểm đánh giá về	một văn bằng tốt nghiệp duy nhất. Chương III TIÊU CHUẨN, HỒ SƠ VÀ QUY TRÌNH ĐĂNG KÝ XÉT, CẤP HỌC BỔNG Điều 6. Tiêu chuẩn được đăng ký xét học bổng 1. Tiêu chuẩn đối với sinh viên: Sinh viên hoặc nhóm sinh viên cùng thực hiện đề tài ĐATN đạt đồng thời các điều kiện sau được đăng ký xét học bổng: a) Toàn bộ các thành viên trong nhóm thực hiện đề tài ĐATN phải có điểm học tập trung bình tích lũy đạt từ loại khá trở lên (CPA ≥ 2.5); b) Có đề tài ĐATN góp phần cải tiến, nâng cao chất lượng, hiệu quả kinh doanh, sản xuất hoặc chất lượng các dịch vụ an sinh xã hội tại quê hương của một trong số sinh viên cùng thực hiện đề tài ĐATN.	1.0
  tắc như sau: Dải điểm thang 4 Dải điểm thang 10 tương đương Công thức quy đổi Điểm thang 10 = Điểm thang 4 × a + b 2,0 đến cận 2,5 5,5 đến cận 7,0 a = 3,00; b = −0,5 2,5 đến cận 3,2 7,0 đến cận 8,0 a = 1,42; b = 3,45 3,2 đến cận 3,6 8,0 đến cận 9,0 a = 2,50; b = 0.00 3,6 đến tròn 4,0 9,0 đến tròn 10 a = 2,50; b = 0.00 Điều 13. Đ ồ án/khóa lu ận tốt nghi ệp đại học Các học phần tốt nghiệp bao gồm đồ án tốt nghiệp cử nhân, khóa luận tốt nghiệp cử nhân (ĐATN). 1. Sinh viên được giao đề tài ĐATN nếu đảm bảo các điều kiện học phần, bao gồm	Ngày ...... tháng ...... năm ............ Sinh viên (Ký và ghi rõ họ tên)	0.0
  2. Chương trình trao đổi đăng ký tham gia: a) Tên Chương trình trao đổi: ........................................................................................... b) Tên trường đại học/ doanh nghiệp đăng ký học tập/ thực tập tại nước ngoài: ............. ........................................................................................................................................... c) Tên quốc gia đến học tập/ thực tập: ............................................................................. d) Ngôn ngữ đăng ký học tập/ thực tập: ...........................................................................	học hình th ức chính quy và các CTĐT k ể từ khóa 70 tr ở về sau, tr ừ các quy đ ịnh sau: a) Bảng quy đ ổi tương đương các ch ứng ch ỉ ngoại ngữ áp dụng cho toàn b ộ sinh viên các khóa, đ ối với các ch ứng ch ỉ được cấp kể từ ngày Quy đ ịnh này có hi ệu lực; b) Đ ối với sinh viên các khóa t ừ 69 tr ở về trước, nếu mức quy đ ổi tương đương cùng m ột chứng ch ỉ ngoại ngữ theo Quy đ ịnh này khác v ới mức quy đ ổi theo quy đ ịnh trước đây thì áp d ụng m ức quy đ ổi cao hơn trong hai quy đ ịnh; m ức cao hơn đư ợc xác định theo Khung năng l ực ngo ại ngữ 6 bậc dùng cho Vi ệt Nam.	0.0

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 2
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 2
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss
0.7246	500	0.0893
1.4493	1000	0.0563

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.1.2
• Transformers: 4.57.1
• PyTorch: 2.8.0+cu126
• Accelerate: 1.11.0
• Datasets: 4.0.0
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}