Paper

Paper

@paper.bsky.social

Collect trending papers from Hugging Face Daily Papers, alphaXiv, and Hacker News. https://github.com/susumuota/arxiv-upvote-trends Maintained by @ota.bsky.social

1.3K followers0 following12.8K posts

[19/30] 336 Upvotes, 2 Comments, 2 Posts, arXiv:2610.31668 🆕Reading, Writing, Sharing, and Interacting with the World through Video Shengqiong Wu, Meng Luo, Bobo Li, Ziwei Liu, Shuicheng Yan, Ming-Hsuan Yang

View full thread

動画基盤モデルは、視覚シーケンスの理解と生成において急速に進歩を遂げている一方、動画世界モデルは、描写対象となる世界の根底にあるダイナミクスを捉えることを目指している。 目的は異なるものの、どちらも映像による観察と、変化し続ける世界との関係について論じている。 本調査では、こうした動向を検証するための統一的な視点として、世界モデルを採用している。 観測された動画を、潜在的な時間的世界の部分的かつ非完全で、時間的に順序付けられた投影として捉え、本稿では文献を4つの相互に補完し合う操作を中心に整理する。すなわち、「読み取り」は観測された動画から世界の特性を推論し、 「書き込み」は、指定...

[19/30] 336 Upvotes, 2 Comments, 2 Posts, arXiv:2610.31668 🆕Reading, Writing, Sharing, and Interacting with the World through Video Shengqiong Wu, Meng Luo, Bobo Li, Ziwei Liu, Shuicheng Yan, Ming-Hsuan Yang

[20/30] 331 Upvotes, 2 Comments, 1 Posts, arXiv:2610.33568 🆕Trajectory2Gym: Decision-Grounded Compositional Interaction Synthesis for Tool-Use Agents Yihao Hu, Zhihao Wen, Yitong Lin, Siyuan Lu, Pan Wang, Wei Wu

View full thread

道具の使用が成功した経過が、必ずしも有益な指導になるとは限らない。 たとえ成功した相互作用であっても、多段階の依存関係が十分に反映されていない場合や、意思決定の時点でエージェントが把握している情報だけでは正当化できない行動が含まれている場合がある。 効果的な軌道監督には、2つの相互に関連した要件がある。1つは「構成的カバレッジ」であり、これにより重要な観測と行動の依存関係が表現される。もう1つは「決定のグラウンディング」であり、これにより、各監督対象の行動が、学習者が認識できる相互作用履歴によって裏付けられる。 本稿では、サポートが不十分な構成的構造の周囲に実行可能な相互作用を構築...

[20/30] 331 Upvotes, 2 Comments, 1 Posts, arXiv:2610.33568 🆕Trajectory2Gym: Decision-Grounded Compositional Interaction Synthesis for Tool-Use Agents Yihao Hu, Zhihao Wen, Yitong Lin, Siyuan Lu, Pan Wang, Wei Wu

View full thread

softmax、log-softmax、および交差エントロピーの標準的な実装には、2つの数値的なバグがあります。 最初のバグである「ソフトマックス・コラープス」は、あるロジットが他のロジットよりもはるかに大きい場合、そのロジットの勾配をゼロに丸めてしまうため、勾配の合計がゼロでなくなる。 2つ目のバグである「ソフトマックス・キャンセレーション」は、学習者のロジットが教師のロジットに近い場合に発生し、学習者と教師のロジットが等しい場合でも、ゼロではない勾配が生じます。 本稿では、これら2つのバグを両方とも修正した、log-softmax、softmax、および交差エントロピーのシンプ...

View full thread

最近、AIが生成した文章は以前より理解しづらくなっているという認識が広く浸透している。 本研究では、人間の処理の難しさと相関があることが知られている一連の心理言語学的特徴(例:目的語関係節、長い構文的依存関係、出現頻度の低いn-グラムなど)について検討する。 多様な分野にわたるAI生成テキストからなる新規コーパスを用いて分析した結果、AIモデルは、往復翻訳によって生成された言い換えよりも、こうした難解な特徴をより頻繁に用いていることがわかった。 人間の文章と比較すると、9つのフロンティアモデルおよびニア・フロンティアモデルはすべて、無生物の主語に有生物の動詞を組み合わせた表現や、出...

[27/30] 278 Upvotes, 4 Comments, 2 Posts, arXiv:2610.31329 🆕WeVisOne-VL: Unified Visual Perception from Objects to Pixels Tianming Liang, Junyi Pan, Yuxi Li, Canmiao Fu, Zhipeng Huang, Chong Sun

View full thread

既存の視覚言語モデル(VLM)は、きめ細かな視覚的知覚に関しては依然として信頼性に欠ける。 本報告では、構造化された次トークン予測を通じて、オブジェクトレベルとピクセルレベルの知覚を統合する強力なVLMである「WeVisOne-VL(WeChat Vision All-in-One)」を紹介する。 物体検出、参照位置特定、計数、OCR、セグメンテーション、マッティングなど、さまざまな視覚処理タスクに対応しており、点やボックスからマスクやアルファマットに至るまで、ユーザーごとに指定した任意の粒度での位置特定を可能にします。 アーキテクチャ的には、特別な <OBJ> トークンを介して軽...

[27/30] 278 Upvotes, 4 Comments, 2 Posts, arXiv:2610.31329 🆕WeVisOne-VL: Unified Visual Perception from Objects to Pixels Tianming Liang, Junyi Pan, Yuxi Li, Canmiao Fu, Zhipeng Huang, Chong Sun

[26/30] 267 Upvotes, 0 Comments, 1 Posts, arXiv:2610.28480 🆕SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model Qiayuan Liao, Yiyang Shao, Junfeng Long, Kevin Zakka, Roberto Horowitz, Pieter Abbeel

View full thread

大規模な人間の動作データセットを追跡することは、汎用的で表現力豊かなヒューマノイドの全身制御を実現するための主流の手法となっているが、多数の動作にスケールさせるには多大なコストがかかる。 現在のパイプラインでは、モデルフリー強化学習を採用しており、ロス付き蒸留によって各動作に特化したモデルを統合するか、クラスター規模の計算リソースを用いて単一のポリシーを総当たり法で導出しています。 SuperMimicは、標準的な剛体シミュレータのログデータから推定された、共有ダイナミクスを表す単一の微分可能なワールドモデルを用いて、すべての動作にわたって学習を均等化します。 世界モデルと追跡ポリ...

[26/30] 267 Upvotes, 0 Comments, 1 Posts, arXiv:2610.28480 🆕SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model Qiayuan Liao, Yiyang Shao, Junfeng Long, Kevin Zakka, Roberto Horowitz, Pieter Abbeel

View full thread

事後的な画像説明では、通常、空間ヒートマップを用いてモデルが注目している箇所を示したり、グローバルなチャネルスコアを用いてどのチャネルが重要であるかを示したりします。 マルチスペクトルデータの場合、チャネルの関連性は多くの場合、空間的に局所的であり、物理的にも意味を持つため、こうした個別のビューでは限界があります。 本稿では、位置・チャネルプレイヤー (g,c) に対するフルグリッド帰属手法である「スペクトル空間解釈(SSI)」を紹介する。 SSIは、各空間位置について、観測された周囲の状況を固定し、その位置のチャネルを対象とした条件付きゲームを定義し、この局所的なゲームにシャプレ...

View full thread

メモリネイティブな進化を実現するには、メモリをファウンデーションモデルの本質的な機能とし、情報が継続的に蓄積・活用されるようにする必要があります。 この目的のために、我々は、メモリをモデル計算の一部として組み込んだ、メモリ基盤モデルの新しいアーキテクチャ「MemT-1.0」を提案する。 Metisを基盤として、MemT-1.0は、各ターン内で安定したトークンレベルのメモリ更新メカニズムを備えたGated DeltaNet-2を採用しています。 さらに、ネイティブメモリ容量を拡張するために、「Mixture-of-Storage」を導入する。 綿密なバックボーンの準備を経て、34B...

View full thread

ストリーミング動画の生成技術が進歩するにつれ、生成された動画とのリアルタイムなインタラクションが可能になることが、ますます重要になってきています。 本稿では、アバターの対話、アバターのパフォーマンス、ワールド生成、指示の編集、参照の編集という5つのタスクを網羅する、対話型ストリーミング動画生成のための統合ベンチマーク「StreamEval」を紹介する。 StreamEvalは、15~300秒かかる300のスクリプト化されたテストケースで構成されており、各テストケースでは、初期アセット、段階的に到着するマルチモーダルリクエスト、および状態変化やコンテンツの保持に関する明確な要件が指定さ...