Artwork

เนื้อหาจัดทำโดย iwashi เนื้อหาพอดแคสต์ทั้งหมด รวมถึงตอน กราฟิก และคำอธิบายพอดแคสต์ได้รับการอัปโหลดและจัดหาให้โดยตรงจาก iwashi หรือพันธมิตรแพลตฟอร์มพอดแคสต์ของพวกเขา หากคุณเชื่อว่ามีบุคคลอื่นใช้งานที่มีลิขสิทธิ์ของคุณโดยไม่ได้รับอนุญาต คุณสามารถปฏิบัติตามขั้นตอนที่แสดงไว้ที่นี่ https://th.player.fm/legal
Player FM - แอป Podcast
ออฟไลน์ด้วยแอป Player FM !

107. LLMをゼロから作るということ w/ Takahiro Omi

38:22
 
แบ่งปัน
 

Fetch error

Hmmm there seems to be a problem fetching this series right now. Last successful fetch was on March 29, 2024 22:55 (2M ago)

What now? This series will be checked again in the next day. If you believe it should be working, please verify the publisher's feed link below is valid and includes actual episode links. You can contact support to request the feed be immediately fetched.

Manage episode 383875982 series 2451650
เนื้อหาจัดทำโดย iwashi เนื้อหาพอดแคสต์ทั้งหมด รวมถึงตอน กราฟิก และคำอธิบายพอดแคสต์ได้รับการอัปโหลดและจัดหาให้โดยตรงจาก iwashi หรือพันธมิตรแพลตฟอร์มพอดแคสต์ของพวกเขา หากคุณเชื่อว่ามีบุคคลอื่นใช้งานที่มีลิขสิทธิ์ของคุณโดยไม่ได้รับอนุญาต คุณสามารถปฏิบัติตามขั้นตอนที่แสดงไว้ที่นี่ https://th.player.fm/legal

ストックマークの近江さんをゲストに、大規模言語モデルをゼロから作る方法、学習のデータセット、モデルアーキテクチャ、学習環境への取り組みなどについて語っていただきました。

話したネタ

  • どのような大規模言語モデルと作ったのか?特徴は何か?
  • データセットに何を使ったのか?
  • 日本語と英語とのバランスは?
  • 最終的なToken数は?
  • 事前学習モデルを作りたいとして、何から考えるのか?
  • ノイズのクリーニングと、その方法
  • 今回活用したモデルアーキテクチャ(Llama)
  • 前回のアーキテクチャは GPT-NeoX
  • 今回の学習環境は?
  • AWS Trainum 32コア x 16ノード
  • 学習にかかった時間は?
  • 学習時に大変だったこと・上手くいかなかったことは?
  • 学習中のチェックポイントとは何か?
  • なぜ、Token生成が速いのか?
  • 手元でLLMを動かすときの一番のネックは?
  • bit数を落とすFineTuning
  • Tokenizerとは何か?
  • 日本語の単語区切りはどのように考えるのか?
  • 今回のLLM作成のTokenizerは何を使ったのか?
  • ビジネスドメインでのLLM評価
  • ストックマーク株式会社のRecruitページ

See Privacy Policy at https://art19.com/privacy and California Privacy Notice at https://art19.com/privacy#do-not-sell-my-info.

  continue reading

115 ตอน

Artwork
iconแบ่งปัน
 

Fetch error

Hmmm there seems to be a problem fetching this series right now. Last successful fetch was on March 29, 2024 22:55 (2M ago)

What now? This series will be checked again in the next day. If you believe it should be working, please verify the publisher's feed link below is valid and includes actual episode links. You can contact support to request the feed be immediately fetched.

Manage episode 383875982 series 2451650
เนื้อหาจัดทำโดย iwashi เนื้อหาพอดแคสต์ทั้งหมด รวมถึงตอน กราฟิก และคำอธิบายพอดแคสต์ได้รับการอัปโหลดและจัดหาให้โดยตรงจาก iwashi หรือพันธมิตรแพลตฟอร์มพอดแคสต์ของพวกเขา หากคุณเชื่อว่ามีบุคคลอื่นใช้งานที่มีลิขสิทธิ์ของคุณโดยไม่ได้รับอนุญาต คุณสามารถปฏิบัติตามขั้นตอนที่แสดงไว้ที่นี่ https://th.player.fm/legal

ストックマークの近江さんをゲストに、大規模言語モデルをゼロから作る方法、学習のデータセット、モデルアーキテクチャ、学習環境への取り組みなどについて語っていただきました。

話したネタ

  • どのような大規模言語モデルと作ったのか?特徴は何か?
  • データセットに何を使ったのか?
  • 日本語と英語とのバランスは?
  • 最終的なToken数は?
  • 事前学習モデルを作りたいとして、何から考えるのか?
  • ノイズのクリーニングと、その方法
  • 今回活用したモデルアーキテクチャ(Llama)
  • 前回のアーキテクチャは GPT-NeoX
  • 今回の学習環境は?
  • AWS Trainum 32コア x 16ノード
  • 学習にかかった時間は?
  • 学習時に大変だったこと・上手くいかなかったことは?
  • 学習中のチェックポイントとは何か?
  • なぜ、Token生成が速いのか?
  • 手元でLLMを動かすときの一番のネックは?
  • bit数を落とすFineTuning
  • Tokenizerとは何か?
  • 日本語の単語区切りはどのように考えるのか?
  • 今回のLLM作成のTokenizerは何を使ったのか?
  • ビジネスドメインでのLLM評価
  • ストックマーク株式会社のRecruitページ

See Privacy Policy at https://art19.com/privacy and California Privacy Notice at https://art19.com/privacy#do-not-sell-my-info.

  continue reading

115 ตอน

ทุกตอน

×
 
Loading …

ขอต้อนรับสู่ Player FM!

Player FM กำลังหาเว็บ

 

คู่มืออ้างอิงด่วน