【重要】Lsmithは公開を停止し、さらに機能を増やしたRadiataに置き換えられました。本記事の手順では、セットアップや実行を行うことはできないと思います。 ※起動時に「dist」ディレクトリが消えて停止する場合は、Lsmithのディレクトリで「git pull」を ...

本記事では、ComfyUI 上で Torch-TensorRT（Immutable）を用いた自前の AI 画像生成パイプラインを構築し、実測で約 0.4 秒/枚の生成時間を記録した事例を紹介します。 再起動後もエンジンやキャッシュを再利用できる設計を前提とし、Mutable / Immutable の選択や fallback ...

NVIDIAは5月20日（米国太平洋夏時間）、Windowsに特化したAI推論ライブラリ「NVIDIA TensorRT for RTX」を開発したと発表した。Microsoftが提供するWindows 11向け「Windows ML」の一部としてプレビュー提供が始まっており、6月中にはNVIDIAからもSDK（開発者キット）が提供さ ...

大規模言語モデル（LLM）の需要が高まり続けるにつれ、高速で効率的かつスケーラブルな推論を実現することがこれまで以上に重要になっています。NVIDIAの TensorRT-LLM この課題に対処するために、LLM 推論用に特別に設計された強力なツールと最適化のセット ...

Windows 11 PC の人工知能は、ゲーマー、クリエイター、ライブ配信者、オフィス ワーカー、学生、そしてカジュアルな PC ユーザーの体験に革命をもたらし、技術史における極めて重要な瞬間を示しています。 RTX GPU を搭載した 1 億台以上の Windows PC や ...

今年7月27日に次世代Stable DiffusionのSDXL 1.0が登場してから数カ月経ったが、ここに来てSD(XL)を高速化する技術がいくつか出て ...

大規模言語モデルは驚くべき新機能を提供し、AI で実現できる領域を拡大している。しかし、その大きなサイズと特有の実行特性は、費用対効果の高い方法で使用することを困難にすることがある。 そこでNVIDIA はMeta、AnyScale、Cohere、Deci、Grammarly、Mistral AI ...

NVIDIAは19日、COMPUTEX TAIPEI 2025にあわせ、AI推論の高速化ライブラリ「TensorRT for RTX」を発表した。すべてのRTXシリーズGPUで利用できるとしており、6月に提供を開始する予定。 同社では以前から、AIパフォーマンスを最適化するためのソフトウェアスタックを ...

UL Solutionsは3月21日（現地時間）、展開中のベンチマークスイート「Procyon」において、生成AI性能の評価に対応する「Procyon AI Image Generation Benchmark」を発表した。3月25日（日本ではおそらく26日）に利用可能になる。 昨今のデバイスには推論専用ハードウェアが ...

Microsoftは検索エンジンのBingで、これまでGoogleが開発した機械学習モデルの「Transformer」を採用してきました。しかし、Transformerに限界が訪れたとして、大規模言語モデル(LLM)と小規模言語モデル(SLM)の組み合わせに移行すると発表しています。さらに、ワーク ...

NVIDIA、推論のブレイクスルーによりクラウドからエッジに至るまでの対話型AIをよりスマートでインタラクティブに TensorRT 8が、ヘルスケア、オートモーティブ、金融業界の大手エンタープライズに世界最速のAI推論性能をもたらす 2021年7月20日 ...