Gemma-2-Llama SwallowがGoogle DeepMind社のGemmaverse（Gemma活用の事例集）で紹介されました。 deepmind.google/models/gemma/g…

Llama-3.3-Swallow-70Bの学習にAWS Sagemaker HyperPodを利用させていただいた件がAWS公式のTechBlogになりました！ AWS Summit Japanでこちらについて、より詳しくお話しさせていただきます。 aws.amazon.com/jp/blogs/machi…

様々な日本語LLMと会話し評価できるプラットフォーム「LLM-jp Chatbot Arena」を公開しました。 chatbot-arena.apps.llmc.nii.ac.jp 現在、LLM-jp のフラグシップモデル「LLM-jp-3.1 8x13B」を含む、計7モデルが稼働中です。どうぞご利用ください。

明日 6/25 12:40- Swallow LLMの研究開発についてお話させていただきます！SageMaker HyperPodの利用事例を中心に話しますのでぜひ！ (6/25は、夕方まで現地にいます) #AWSSummit

Llama 3.1 Swallow 8B v0.5を公開しました。Llama 3.3 Swallow 70BやGemma-2-Llama Swallowのレシピをさらに改良し、性能を向上させました。学習環境としてAWSのSageMaker HyperPod (H200) を利用しました。人気の8Bモデルの改良版を是非お試しください。 swallow-llm.github.io/llama3.1-swall…

独自開発したデータセットSwallowCode, SwallowMathを採用し、数学とコード能力を強化しました。 ブログも書いていますので、併せてどうぞ！ zenn.dev/tokyotech_lm/a… 本日のAWS Summitにて、こちらのモデルについてもお話しさせていただきます！

Llama 3.1 Swallow 8B Instruct v0.5の指示チューニングに用いた対話データセットGemma-3-lmsys-chat-1m-synthを公開しました！今回は新メンバー Luke🐈 が中心となって作成してくれました🙌 ライセンスをよく読んだ上でご活用ください〜 huggingface.co/datasets/tokyo…

Swallow LLM Leaderboardを更新しました。Llama 3.1 Swallow 8B v0.5, Llama 4 Scout, llm-jp-3-*-instruct3, llm-jp-3.1-*-instruct4, Qwen2.5-32B, Qwen3-*-Baseを追加しました。この評価ではLlama 4 Scout InstructよりもLlama 3.3 70B Instructの方が高性能でした。 swallow-llm.github.io/leaderboard/

情報処理学会フェローに認定いただきました🏅 ご推薦いただいた先生方、お世話になっておりますみなさま、本当にありがとうございます。引き続き精進します💪 isct.ac.jp/ja/news/rm9ggw…

本日のNLPコロキウムにご参加いただいた方々、ありがとうございました！ LLM開発における現場レベルの細かな話をさせていただきました。スライドも公開させていただきましたので、よろしければご覧ください。 speakerdeck.com/fujiikazuki200…

I’m at #ACL2025NLP to present our work on membership inference attack with Masahiro Kaneko , Yuki Wata and Naoaki Okazaki: 📄aclanthology.org/2025.findings-… 📍Hall 4/5, 16:00-17:30, July 29(Tues.) Looking forward to discussing with you!

データセットの良し悪しをLLMを学習することなく判別するための手法についてです。 結果的に検証した手法は採用する水準にないことが判明しましたが知見として執筆させていただきました。

gpt-oss is out! we made an open model that performs at the level of o4-mini and runs on a high-end laptop (WTF!!) (and a smaller one that runs on a phone). super proud of the team; big triumph of technology.

日本語・英語の大規模言語モデルを高難易度ベンチマークで評価したリーダーボード Swallow LLM Leaderboard v2 を公開しました。GPT-5, o3, o3-mini, gpt-oss, Qwen3 など、最先端のLLMの評価結果をご覧いただけます。 サイト: swallow-llm.github.io/swallow-leader…

Swallow LLM Leaderboard v2の日本語5タスクの平均では、GPT-5が最も高いスコアを記録しました。オープンなモデルでは、Qwen3-235B-A22B-Thinking-2507、Qwen3-235B-A22B-Instruct-2507、gpt-oss-120bなどがクローズドなモデルと遜色のない性能を示しています。 棒グラフ: swallow-llm.github.io/leaderboard/in…

Swallow LLM Leaderboard v2の日本語6タスクの評価では、GPT-5の性能の高さが際立っており、さらに高難易度なベンチマークの整備が必要です。オープンモデルであるQwen3-235B-A22B-Thinking-2507やgpt-oss-120bも隙がなく、規模に見合った性能でした。 レーダーチャート: swallow-llm.github.io/leaderboard/ra…

Two first-author long papers accepted to #EMNLP2025 main, and one co-authored long paper in Findings 🎉 Thanks Rem Hida, Alham Fikri Aji, Naoaki Okazaki, and Tim Baldwin! All on arXiv📜 - arxiv.org/abs/2502.11495 - arxiv.org/abs/2407.03129 - arxiv.org/abs/2403.16139

AWS AI Frontier Meetupにて Swallow Projectでの開発に関して発表を行いました！！ speakerdeck.com/fujiikazuki200…