🌐 [i18n-KO] Translated `bitsandbytes.md` to Korean #32408

SeungAhSon · 2024-08-04T07:19:09Z

What does this PR do?

Translated the bitsandbytes.md file of the documentation to Korean.
Thank you in advance for your review.

Part of #20179

Before reviewing

Check for missing / redundant translations (번역 누락/중복 검사)
Grammar Check (맞춤법 검사)
Review or Add new terms to glossary (용어 확인 및 추가)
Check Inline TOC (e.g. [[lowercased-header]])
Check live-preview for gotchas (live-preview로 정상작동 확인)

Who can review? (Initial)

@SeungAhSon, @Jwaminju, @thsamajiki, @4N3MONE, @jungnerd

Before submitting

This PR fixes a typo or improves the docs (you can dismiss the other checks if that's the case).
Did you read the contributor guideline,
Pull Request section?
Was this discussed/approved via a Github issue or the forum? Please add a link
to it if that's the case.
Did you make sure to update the documentation with your changes? Here are the
documentation guidelines, and
here are tips on formatting docstrings.
Did you write any new necessary tests?

Who can review? (Final)

@stevhliu May you please review this PR?

…o ko-bitsandbytes.md

docs/source/ko/quantization/bitsandbytes.md

junejae

PR 서식에 주석이 (<!— PR의 제목은 "🌐 [i18n-KO] Translated <your_file>.md to Korean" 으로 부탁드립니다 —>) 노출되고 있습니다. 노출되지 않도록 수정 부탁드립니다.

또한, 본 PR은 아직 OSSCA 팀원들에게 충분히 리뷰/검토되지 않은 PR입니다. PR의 상태를 Draft로 변경 부탁드립니다.

This PR hasn't been sufficiently reviewed by OSSCA members, Please change your PR's status to Draft.

docs/source/ko/quantization/bitsandbytes.md

Jwaminju · 2024-08-05T00:44:15Z

docs/source/ko/quantization/bitsandbytes.md

+<hfoptions id="bnb">
+<hfoption id="8-bit">
+
+모델을 8비트로 양자화하면 메모리 사용량이 절반으로 줄어들며, 대형 모델의 경우  `device_map="auto"`를 설정하여 사용 가능한 GPU를 효율적으로 활용할 수 있습니다:


Suggested change

모델을 8비트로 양자화하면 메모리 사용량이 절반으로 줄어들며, 대형 모델의 경우 `device_map="auto"`를 설정하여 사용 가능한 GPU를 효율적으로 활용할 수 있습니다:

모델을 8비트로 양자화하면 메모리 사용량이 절반으로 줄어들며, 대규모 모델의 경우 `device_map="auto"`를 설정하여 사용 가능한 GPU를 효율적으로 활용할 수 있습니다:

llm을 대규모 언어 모델로 번역하는 걸 보면, large도 대규모로 통일하면 어떨까 싶습니다.
띄어쓰기도 고쳤습니다!

docs/source/ko/quantization/bitsandbytes.md

Jwaminju · 2024-08-05T00:54:09Z

docs/source/ko/quantization/bitsandbytes.md

+model_8bit.model.decoder.layers[-1].final_layer_norm.weight.dtype
+```
+
+모델이 8비트로 양자화되면 최신 버전의 Transformers와 bitsandbytes를 사용하지 않는 한 양자화된 가중치를 Hub에 푸시할 수 없습니다. 최신 버전을 사용하는 경우, [`~PreTrainedModel.push_to_hub`] 방법을 사용하여 8비트 모델을 Hub에 푸시할 수 있습니다. 양자화 구성 파일(config.json)이 먼저 푸시되고, 그 다음 양자화된 모델 가중치가 푸시됩니다.


Suggested change

모델이 8비트로 양자화되면 최신 버전의 Transformers와 bitsandbytes를 사용하지 않는 한 양자화된 가중치를 Hub에 푸시할 수 없습니다. 최신 버전을 사용하는 경우, [`~PreTrainedModel.push_to_hub`] 방법을 사용하여 8비트 모델을 Hub에 푸시할 수 있습니다. 양자화 구성 파일(config.json)이 먼저 푸시되고, 그 다음 양자화된 모델 가중치가 푸시됩니다.

모델이 8비트로 양자화되면 최신 버전의 Transformers와 bitsandbytes를 사용하지 않는 한 양자화된 가중치를 Hub에 푸시할 수 없습니다. 최신 버전을 사용하는 경우, [`~PreTrainedModel.push_to_hub`] 메소드를 사용하여 8비트 모델을 Hub에 푸시할 수 있습니다. 양자화 구성 파일(config.json)이 먼저 푸시되고, 그 다음 양자화된 모델 가중치가 푸시됩니다.

glossary에 method는 메소드라고 번역되어 있네요!

docs/source/ko/quantization/bitsandbytes.md

4N3MONE · 2024-08-05T14:10:13Z

docs/source/ko/quantization/bitsandbytes.md

+
+### 미세 조정[[finetuning]]
+
+[PEFT](https://github.com/huggingface/peft) 라이브러리를 사용하면 [flan-t5-large](https://huggingface.co/google/flan-t5-large) 및 [facebook/opt-6.7b](https://huggingface.co/facebook/opt-6.7b)와 같은 대형 모델을 8비트 양자화로 미세 조정할 수 있습니다. 훈련 시 `device_map` 매개변수를 전달할 필요가 없으며, 모델이 자동으로 GPU에 로드됩니다. 그러나 원하는 경우 `device_map` 매개변수로 장치 맵을 사용자 정의할 수 있습니다 (`device_map="auto"`는 추론에만 사용해야 합니다).


Suggested change

[PEFT](https://github.com/huggingface/peft) 라이브러리를 사용하면 [flan-t5-large](https://huggingface.co/google/flan-t5-large) 및 [facebook/opt-6.7b](https://huggingface.co/facebook/opt-6.7b)와 같은 대형 모델을 8비트 양자화로 미세 조정할 수 있습니다. 훈련 시 `device_map` 매개변수를 전달할 필요가 없으며, 모델이 자동으로 GPU에 로드됩니다. 그러나 원하는 경우 `device_map` 매개변수로 장치 맵을 사용자 정의할 수 있습니다 (`device_map="auto"`는 추론에만 사용해야 합니다).

[PEFT](https://github.com/huggingface/peft) 라이브러리를 사용하면 [flan-t5-large](https://huggingface.co/google/flan-t5-large) 및 [facebook/opt-6.7b](https://huggingface.co/facebook/opt-6.7b)와 같은 대형 모델을 8비트 양자화로 미세 조정할 수 있습니다. 훈련 시 `device_map` 매개변수를 전달할 필요가 없으며, 모델을 자동으로 GPU에 가져옵니다. 그러나 원하는 경우 `device_map` 매개변수로 장치 맵을 사용자 정의할 수 있습니다 (`device_map="auto"`는 추론에만 사용해야 합니다).

글로서리 기반 수정입니다.

docs/source/ko/quantization/bitsandbytes.md

Jwaminju · 2024-08-05T15:05:04Z

docs/source/ko/quantization/bitsandbytes.md

+</hfoption>
+<hfoption id="4-bit">
+
+모델을 4비트로 양자화하면 메모리 사용량이 4배 줄어들며, 대형 모델의 경우 `device_map="auto"`를 설정하여 사용 가능한 GPU를 효율적으로 활용할 수 있습니다:


Suggested change

모델을 4비트로 양자화하면 메모리 사용량이 4배 줄어들며, 대형 모델의 경우 `device_map="auto"`를 설정하여 사용 가능한 GPU를 효율적으로 활용할 수 있습니다:

모델을 4비트로 양자화하면 메모리 사용량이 4배 줄어들며, 대규모 모델의 경우 `device_map="auto"`를 설정하여 사용 가능한 GPU를 효율적으로 활용할 수 있습니다:

glossary에서 llm을 대규모 언어 모델로 번역해서, large를 대규모로 번역해보았습니다.

docs/source/ko/quantization/bitsandbytes.md

Jwaminju · 2024-08-05T15:07:53Z

docs/source/ko/quantization/bitsandbytes.md

+)
+```
+
+기본적으로 torch.nn.LayerNorm과 같은 다른 모듈은 `torch.float16`으로 변환됩니다. 원하면 `torch_dtype` 매개변수로 이 모듈의 데이터 유형을 변경할 수 있습니다:


https://github.com/huggingface/transformers/pull/32408/files#r1703434051

FYI, 나중에 윗 부분이 결정된다면, 통일되면 좋을 것 같네요!

docs/source/ko/quantization/bitsandbytes.md

jungnerd · 2024-08-06T08:16:30Z

좋은 번역 감사합니다!
PR 서식 맨 첫 줄 Translated the <your_file>.md file of the documentation to Korean. 부분의 <your_file>.md를 번역하신 문서로 수정해주세요!

docs/source/ko/quantization/bitsandbytes.md

Co-authored-by: wony617 <[email protected]> Co-authored-by: YONGSANG <[email protected]> Co-authored-by: Woojun Jung <[email protected]>

HuggingFaceDocBuilderDev · 2024-08-06T19:19:33Z

The docs for this PR live here. All of your documentation changes will be reflected on that endpoint. The docs are available until 30 days after the last update.

stevhliu

Nice job, thanks for the translation! Can you check if whether removing the "?" in some of the sentences alters the meaning? Thanks! 🤗

docs/source/ko/quantization/bitsandbytes.md

Co-authored-by: Steven Liu <[email protected]>

SeungAhSon · 2024-08-08T12:07:06Z

Nice job, thanks for the translation! Can you check if whether removing the "?" in some of the sentences alters the meaning? Thanks! 🤗

Thank you so much for checking! Your suggestion was spot on, so I've made the changes accordingly.

Co-authored-by: Steven Liu <[email protected]>

stevhliu

Thanks again!

SeungAhSon added 7 commits July 21, 2024 12:31

docs: ko: quantization/bitsandbytes.md

435c08d

feat: nmt draft

955d8e8

Merge branch 'huggingface:main' into ko-bitsandbytes.md

6d5ffab

fix: minor typos

776c06b

fix: manual edits

d82562b

Merge branch 'main' of https://github.com/SeungAhSon/transformers int…

8ce6f86

…o ko-bitsandbytes.md

fix: manual edits

55c57b7

SeungAhSon marked this pull request as ready for review August 4, 2024 07:24

thsamajiki reviewed Aug 4, 2024

View reviewed changes

docs/source/ko/quantization/bitsandbytes.md Outdated Show resolved Hide resolved

junejae suggested changes Aug 4, 2024

View reviewed changes

Jwaminju reviewed Aug 5, 2024

View reviewed changes

SeungAhSon marked this pull request as draft August 5, 2024 13:56

4N3MONE reviewed Aug 5, 2024

View reviewed changes

Jwaminju reviewed Aug 5, 2024

View reviewed changes

jungnerd reviewed Aug 6, 2024

View reviewed changes

docs/source/ko/quantization/bitsandbytes.md Outdated Show resolved Hide resolved

SeungAhSon commented Aug 6, 2024

View reviewed changes

docs/source/ko/quantization/bitsandbytes.md Outdated Show resolved Hide resolved

SeungAhSon commented Aug 6, 2024

View reviewed changes

docs/source/ko/quantization/bitsandbytes.md Outdated Show resolved Hide resolved

SeungAhSon commented Aug 6, 2024

View reviewed changes

docs/source/ko/quantization/bitsandbytes.md Outdated Show resolved Hide resolved

fix: resolve suggestions

e41ac00

Co-authored-by: wony617 <[email protected]> Co-authored-by: YONGSANG <[email protected]> Co-authored-by: Woojun Jung <[email protected]>

SeungAhSon marked this pull request as ready for review August 6, 2024 16:48

stevhliu reviewed Aug 6, 2024

View reviewed changes

docs/source/ko/quantization/bitsandbytes.md Outdated Show resolved Hide resolved

docs/source/ko/quantization/bitsandbytes.md Outdated Show resolved Hide resolved

docs/source/ko/quantization/bitsandbytes.md Outdated Show resolved Hide resolved

fix: resolve suggestions

e1c4241

Co-authored-by: Steven Liu <[email protected]>

SeungAhSon and others added 2 commits August 8, 2024 22:03

Apply suggestions from code review

be3474d

Co-authored-by: Steven Liu <[email protected]>

Apply suggestions from code review

763a50f

Co-authored-by: Steven Liu <[email protected]>

stevhliu approved these changes Aug 8, 2024

View reviewed changes

stevhliu merged commit b01f9c4 into huggingface:main Aug 8, 2024
8 checks passed

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

🌐 [i18n-KO] Translated `bitsandbytes.md` to Korean #32408

🌐 [i18n-KO] Translated `bitsandbytes.md` to Korean #32408

SeungAhSon commented Aug 4, 2024 •

edited

Loading

junejae left a comment •

edited

Loading

Jwaminju Aug 5, 2024 •

edited

Loading

Jwaminju Aug 5, 2024

4N3MONE Aug 5, 2024

Jwaminju Aug 5, 2024

Jwaminju Aug 5, 2024

jungnerd commented Aug 6, 2024

HuggingFaceDocBuilderDev commented Aug 6, 2024

stevhliu left a comment

SeungAhSon commented Aug 8, 2024

stevhliu left a comment

	모델을 8비트로 양자화하면 메모리 사용량이 절반으로 줄어들며, 대형 모델의 경우 `device_map="auto"`를 설정하여 사용 가능한 GPU를 효율적으로 활용할 수 있습니다:
	모델을 8비트로 양자화하면 메모리 사용량이 절반으로 줄어들며, 대규모 모델의 경우 `device_map="auto"`를 설정하여 사용 가능한 GPU를 효율적으로 활용할 수 있습니다:


		### 미세 조정[[finetuning]]

		[PEFT](https://github.com/huggingface/peft) 라이브러리를 사용하면 [flan-t5-large](https://huggingface.co/google/flan-t5-large) 및 [facebook/opt-6.7b](https://huggingface.co/facebook/opt-6.7b)와 같은 대형 모델을 8비트 양자화로 미세 조정할 수 있습니다. 훈련 시 `device_map` 매개변수를 전달할 필요가 없으며, 모델이 자동으로 GPU에 로드됩니다. 그러나 원하는 경우 `device_map` 매개변수로 장치 맵을 사용자 정의할 수 있습니다 (`device_map="auto"`는 추론에만 사용해야 합니다).

	모델을 4비트로 양자화하면 메모리 사용량이 4배 줄어들며, 대형 모델의 경우 `device_map="auto"`를 설정하여 사용 가능한 GPU를 효율적으로 활용할 수 있습니다:
	모델을 4비트로 양자화하면 메모리 사용량이 4배 줄어들며, 대규모 모델의 경우 `device_map="auto"`를 설정하여 사용 가능한 GPU를 효율적으로 활용할 수 있습니다:

🌐 [i18n-KO] Translated bitsandbytes.md to Korean #32408

🌐 [i18n-KO] Translated bitsandbytes.md to Korean #32408

Conversation

SeungAhSon commented Aug 4, 2024 • edited Loading

What does this PR do?

Before reviewing

Who can review? (Initial)

Before submitting

Who can review? (Final)

junejae left a comment • edited Loading

Choose a reason for hiding this comment

Jwaminju Aug 5, 2024 • edited Loading

Choose a reason for hiding this comment

Jwaminju Aug 5, 2024

Choose a reason for hiding this comment

4N3MONE Aug 5, 2024

Choose a reason for hiding this comment

Jwaminju Aug 5, 2024

Choose a reason for hiding this comment

Jwaminju Aug 5, 2024

Choose a reason for hiding this comment

jungnerd commented Aug 6, 2024

HuggingFaceDocBuilderDev commented Aug 6, 2024

stevhliu left a comment

Choose a reason for hiding this comment

SeungAhSon commented Aug 8, 2024

stevhliu left a comment

Choose a reason for hiding this comment

🌐 [i18n-KO] Translated `bitsandbytes.md` to Korean #32408

🌐 [i18n-KO] Translated `bitsandbytes.md` to Korean #32408

SeungAhSon commented Aug 4, 2024 •

edited

Loading

junejae left a comment •

edited

Loading

Jwaminju Aug 5, 2024 •

edited

Loading