より高速なフーリエ変換
Ben Recht は、より高速な FFT を実現したと主張する OpenAI の論文を読んだ。改善は指数で 10^-13 ぶん小さくなっただけで、n が 10^(10^10^15) を超えないと元が取れない。突破口ではなく、ビッグ O 記法の穴を突いたものだという。
research
もっと見る research
ホーム
一度だけチャートに載って消えたバンドを、15年かけて探す
2011年、シャヒード・フセインはSalvageというバンドのCDシングルを買ったが、その後彼らの足跡をまったく見つけられなかった。15年後、彼はプロデューサーとバンドメンバーを見つけ出し、その背後にある物語を知った。
ダスト：逆伝播不要のTransformer事前学習
Dust は逆伝播なしで transformer を事前学習し、活性化空間の摂動を利用してどの重みにクレジットを与えるかを決定する。論文は複数の規模での結果を報告し、この手法が標準的な訓練ループにまだ劣る点について議論している。
Jevのキャリブレーションが不十分
Dylan Black は Jev に物理的に妥当な確率分布を生成させてキャリブレーションを検証した。結果は、確率を均等に配る「諦め」より悪く、失敗の仕方も系統的だった。著者は Jev を自動判定器として使うことの安全性に疑問を投げる。
クロード形状の科学問題
物理学教授のMatthew Schwartzは、Claudeの気性に逆らって使うのをやめ、むしろ現世代のモデル能力にちょうど合う問題を探すようになった。知識を検索可能な集合として扱い、幾何学的直感で境界を判定するタスクである。彼は完成した2本の研究を提出し、その背後にあるBootLoopsハーネスについて述べた。
ドリフト目標でポケットTTSを訓練する
Kyutai は連続音声言語モデルの一段階フローマッチング目的（LSD）を drifting に置き換えた。指標はすべて同等、推論コストは変わらず、ヤコビアン・ベクトル積が不要になった。これは drifting で訓練された初の自己回帰生成モデルである。
DARPA MOCHAのコンパイラをテストするのにどのハードウェアを使うか
MOCHAがコンパイラを未知の異種アクセラレータに迅速対応させたい場合、テストベンチマークはどう選ぶ？SEIは5つの選定基準と9つの候補ハードウェアを挙げ、各チームに目標の推薦を求めた結果、最終的にAMD RDNA 4とTenstorrent Tensixに絞られた。
テキスト分類の言語モデル：bag-of-wordsからJevまで
ナイーブベイズ、RNN、CNNからTransformerまで、Raschkaはテキスト分類の技術的系譜を整理し、さらにIMDbでJevを実測：Choice APIは96.47%の精度、コスト0.65ドルで、微調整済みModernBERTに匹敵し、学習不要。
ClaudeがCRISPR様反復配列を持つ新規酵素システムを発見
Anthropicが約950のClaudeエージェントでDNAデータベースを21時間検索し、ファージ内にCRISPR様反復配列を持つ新型酵素システムARTを発見；逆転写酵素、パートナー遺伝子、反復アレイで構成され、機能と用途は不明。
神经语幽灵
AI 2027が提唱した神経語再帰はAIをベクトルで思考させ、読み解けなくするが、OpenAIの首席科学者Pachockiは実現していないと応じた。
AIっぽさをなくす
RL-XAR はメタ最適化された評価基準を通じて LLM 審判を専門家による人間の文章へ再び選好させ、論文段落、ピューリッツァー小説の続き、Wikipedia において標準訓練を大幅に上回る。