ビーム | Seiya Tokui
@beam2d
Preferred Networks リサーチャー。深層学習とそのソフトウェアスタックに興味があります。sub: @_be4m
LLM訓練時にデータを説明するメタデータを挿入することで学習効率が変わるのかを調べた東大鈴木研とPFNの共同研究がCOLM 2025に採択されました。学習効率を改善する利点が大きいが、隠れた情報を推定する能力を学習する機会が失われ、後続タスクの条件次第でトレードオフがあることを示しました
訓練時に文章の文頭にmeta-dataを挿入することで学習の効率がどのように変化するかを調べた研究がCOLM2025に採択されました．PFNの方々と共同研究させていただきました． arxiv.org/pdf/2504.17562
訓練時に文章の文頭にmeta-dataを挿入することで学習の効率がどのように変化するかを調べた研究がCOLM2025に採択されました．PFNの方々と共同研究させていただきました． arxiv.org/pdf/2504.17562
Our paper on metadata conditioning in LM pretraining arxiv.org/abs/2504.17562 is accepted to CoLM 2025! Huge thanks to all coauthors and reviewers!
【発表】翻訳特化型LLM「PLaMo™翻訳」を公開・発売しました。 🇯🇵基盤モデルPLaMo由来の高い日本語力で高品質な翻訳を実現 🌐専用サイトで無償試用可能 🏢オンプレ環境で社内文書も安心して翻訳 💬流暢で原文の形式を損なわない出力是非お試しください！ @PLaMoLLM preferred.jp/ja/news/pr2025…
【発表】国産LLM PLaMo™の最新版PLaMo 2.0 Primeを公開、従来の1/4以下の価格で提供します。 日本語ベンチマークでGemma3-27B、Qwen2.5-32B、GPT-4o miniなどを上回るスコアを達成したモデルはGENIAC第2期で開発しました。 GENIAC-PRIZE応援キャンペーンも実施しています！ preferred.jp/ja/news/pr2025…
【発表】生成AIを使った定性データ分析サービスPreferredAI™ Insight Scanの提供を開始しました。口コミ、コールセンター履歴、パブコメ、特許情報などの膨大なテキストデータをすばやく分類・分析し、インサイトの発掘を支援します。 詳細やユーザー様の声はこちら: preferred.jp/ja/news/pr2025…
\\✨🎉正式版リリース決定！🎉✨// 『#OmegaCrafter / オメガクラフター』の正式版を、5/15(木)にリリースします！ ☄️新バイオーム「ロストワールド」追加 💥最後の敵＆闇キャラとの戦闘 🧩「プログラミングの祠」でお題に挑戦 🛠️建築大量アプデ＆クリエイティブモード…
【学生向けイベント】MN-Core開発に興味のある学生を対象にオープンハウスを開催します。 🗓️2025年4月16日(水) 18:30 〜ハイブリット開催 機械学習に特化したアクセラレータを動かすソフトウェアを上から下まで内製している国内で数少ない現場の視点に触れていただけます！ preferred-networks.connpass.com/event/350996/
PFN2025夏季国内 #インターン 募集要項を公開しました。機械学習のみならず、コンピュータサイエンスの幅広い分野から、新しい技術、プロダクト、サービスを創り上げてみたいという学生の皆様の応募を歓迎いたします。 ●応募締切：2025/4/20 (日) 23:59 (日本時間) preferred.jp/ja/news/intern…
【発表】PFN、三菱商事、IIJの3社で、PFNが開発する国産の省電力AIプロセッサーMN-Core™シリーズを用いたAI向けクラウドサービスを提供する合弁会社 Preferred Computing Infrastructureを来月設立します。 preferred.jp/ja/news/pr2024…
【発表】AI半導体MN-Core™シリーズおよび生成AI基盤モデルPLaMo™の開発、PFCP™、Matlantis™、MiseMise™などのサービス提供を加速させるため、総額で190億円の資金調達を実施しました。 PFNは事業拡大にともない、採用も強化していきます。 preferred.jp/ja/news/pr2024…
【発表】PFNグループの大規模言語モデルPLaMo™のフラッグシップモデルPLaMo Primeをweb API経由で本日提供開始しました！βテスト後に文章生成、要約、翻訳、テキスト分析性能を向上、コンテキスト長を拡大、RAGに対応。PLaMo Chatは期間限定無料でお使いいただけます。preferred.jp/ja/news/pr2024…
先週第二子が生まれ、11月中旬まで育休中です。二回目なので強くてニューゲームだけど、一人目がいるので難易度は上がっている……
錚々たる面子に囲まれて恐縮ですが、in-context学習について書かせていただきました。よろしくお願いします！
【近刊】次回の数理科学2024年10月号（9月20日発売）の特集テーマは「生成AIのしくみと数理」です！ 本特集では、さまざまな生成AIのモデルの紹介をはじめ、そのしくみや数理的研究の現状をまとめ、さらに今後の課題や展望についても迫っていきます。＃数理科学
PFNが開発するAIプロセッサーMN-Core™を題材とした初のプログラミングコンテスト MN-Core Challenge が先ほど始まりました👩💻🖥👨💻 コンテストは本日8/28(水)より9/23(月) まで開催しています。奮ってご参加ください！ #mncore コンテストページはこちら: mncore-challenge.preferred.jp
これ問題解くの純粋に楽しいので奮ってご参加ください！
PFNが開発するAIプロセッサーMN-Core™を題材とした初のプログラミングコンテスト MN-Core Challenge のコンテストページを公開しました: mncore-challenge.preferred.jp コンテストの開始は8/28(水)ですが、コンテストページでは本日公開の練習問題3問に挑戦できます。 奮ってご参加ください！ #mncore
PFNが開発するAIプロセッサーMN-Core™を題材とした初のプログラミングコンテスト MN-Core Challenge のコンテストページを公開しました: mncore-challenge.preferred.jp コンテストの開始は8/28(水)ですが、コンテストページでは本日公開の練習問題3問に挑戦できます。 奮ってご参加ください！ #mncore
PFNが独自開発するAIプロセッサーMN-Core™︎の開発環境を使った初のプログラミングコンテストを8/28から開催します👩💻🖥️👨💻 MN-Core向けプログラムの実行速度を競うコンテストで技術を試しませんか？ 上位入賞者には総額100万円の賞金が待っています🏆奮ってご参加ください！ preferred.jp/ja/news/pr2024…
【ブログ】PFNの子会社のPFEでは、1兆パラメータクラスのLLMの事前学習について技術検証を行いました。世界でも最大規模のLLMを事前学習する難しさを紹介します。詳しくは、下記リンクよりご覧ください。 tech.preferred.jp/ja/blog/pretra…
大規模言語モデルPLaMoの学習が終わり日本語向けベンチマークなどでGPT-4を超える性能を達成しました（tech.preferred.jp/ja/blog/plamo-…）。事前学習からフルスクラッチで構築しています。この成果を元にしたモデルのトライアル利用を本日より開始します。是非試してみてくださいpreferred.jp/ja/news/pr2024…