非SLI環境でのデュアルGPUについては、否定的な声が多い中、それを押し切って作った環境
使ってわかったこと！
・良かった事
①LoRaを作りながら、画像生成など他の作業が同時にできる
今までは2台のPCにそれぞれRTX3060 12㎇を搭載、2台のモニターで作業していました。
2代目のGPUを購入したきっかけは、LoRaの作り方をよく理解していなくて4時間とか8時間かかっていたからです。（今は30分くらい）
注意点として、GPUを2台繋ぐとx16それぞれがフルパワーで動かせるかというと、違います。
例としてはGPU0がPCIE4.0x16動作 GPU1がPCIE4.0（3.0）x４動作だったり（ご利用の環境・設定で異なります）
②生成Aiをローカル環境で動かすのに威力を発揮した
「LM STUDIO」というソフトでchatGPT等のLLMをローカル（ネット無し・自分のPCで実行）で使う上で、LLM（大規模言語モデル）を選んでダウンロードする訳ですが、自身の搭載GPUのスペックによっては動かないモデルも多く存在します。
・クラウド環境の様に超大型のLLMが動かせないので、使用できるのは、小型のLLMになります。
・選択肢は日本語に対応したLLM、種類は非常に少ないです。
・RTX3060 12GB のVRAM12㎇で動くものは、頑張っても「7B」モデル
日本語モデル・7Bまでのモデル、もっと小さいものも試しました。
意味不明な回答「何を言っても架空のカレー屋をすすめてくるモデル」、「同じ言葉を繰り返す」等、会話にならないものばかり。
選択したLLMは返事が止まらない等、全部暴走しました（笑）
ローカルで生成Ai環境は無理とそこで悟りましたが、そこでRTX3060 12GB を2枚搭載、計24GBの出番です。
「7B」の10倍以上のデータ量50GBクラスのLLMを複数DLしてみたが動かず（笑）
10倍の「70B」警告は出たがスムーズに動いた！！
・「70B」は日本語モデルが見つからなかったのでLlama3をダウンロードした。
さすが10倍の容量のLLM、日本語でのやり取りもできた！！暴走もしない。
まともに会話もできる！！ これは大きな進歩だ！！
※「70B」700億パラメータのLLM、「７B」70億パラメータのLLM（Copilot調べ）
③他に試してみた事 動画のレンダリング（Adobe プレミアpro→メディアエンコーダー）
撮影素材 4K 6分程度の動画だったかな（昨日の事だが、うっすら記憶）
検証系ページでは無いので結果のみ正確で書き出し環境の詳細は省略します。
GPUドライバはSTUDIO系にしています。
まず、GPU２枚の場合 書き出し時間 3分40秒
１枚の場合 なんと！3分20秒
2枚の方が遅い！！
まぁGPU同士をケーブルで繋ぐSLI環境では無いので当然の結果でしょう。
2枚がPCIE4.0x16で動作すれば爆速なんでしょうけど。
④注意点等
・GPUはフルパワーで80℃とか90℃近い温度が出るのでケース内の温度管理が大切です。
自分はCPUクーラーを水冷にしていません。
ファンを４つ（天井２・フロント２）追加し 合計ケースファンは６つ
CPUファン・２つのGPUファンも回っていますので、ケース選びも大切
ファン音がそこそこ大きいので神経質な方には、お勧めできません。
クリエイティブな作業をしない場合は、サブPC（過去メインPC）や、ノートPC（今ノートPCで書いています）を使い分けています。
・マザーボードや電源等の買い替えが発生する場合があります
自分はAM4 550チップセットのマイクロATXのマザーボードを使っていました。
GPUが2本差せるレーンが無いので買い替え 約15,000円の出費
電源も500Wを使っていたので動かすには最低850W必要
電源850wに買い替え 約13,000円の出費
当然電気代もかかりますよ！！検証していないですけど
少しお金足せばグレードの高いGPU買えるやん
と多くの方は思いますよね。そうしなかった理由があるのです。
直近に追加のGPUを購入し、約45,000円出費していたからです。
8万円くらい出したらスペックの高いGPUを買えた、その選択肢もありましたが、GPUに8万円超えとか自分的に無理でした。
パーツを少しずつ買い足していく過程で、こうなったのです（笑）
結論：最初から高性能のGPUを1枚買った方が良いです！
ただしVRAMが多いGPUをお勧めします。
⑤まとめ
デュアルGPU環境にあこがれる方は多いと思いますが、そんな感じでした。
自分はゲームをしないのでゲーム系の検証はしていません。
最初の目的の画像生成速度を上げたいというところは、Stable Diffsion 2024年7月のアップデートで爆速になったので解決。
検証データ・画像は、スクショを取りましたが今日OSをクリーンインストールして消えてしまいましたので、文字のみの記事になります。
※重ねて書きますが、検証系、専門系のページでは無いので、表現・名称・データ等が間違っている場合は予めご了承ください。
コメント