Ollama + Open-WebuiをWindowsで試す

Windows環境でCUDAを使ってGPU活用してOllamaを動かしてみる。

Ollamaのインストール

• Ollamaのダウンロード
  • https://ollama.com/download

• Ollamaのインストール
  • ダウンロードしたファイル(OllamaSetup.exe)をダブルクリクすると何も選択肢も無く勝手にCドライブにインストールされてしまいますが、私の環境ではCドライブは容量が少ないのでDドライブにインストールすることとしました。PowerShellなどから以下のようにコマンドで実行することで指定のディレクトリにインストールされます。

PS D:\> OllamaSetup.exe /DIR=D:\ollama

PS D:\> OllamaSetup.exe /DIR=D:\ollama

モデルの保存場所について

このままだと、結局、C:\Users\ログインユーザ\.ollama 以下にモデルなどがダウンロードされちゃうので、OLLAMA_MODELSという環境変数にパスが定義されるようなのですが、環境変数をいくら書き換えても全く見てくれないので、ここは、シンボリックリンクで対応します。

1.　コマンドプロンプトを「管理者として実行」で開きます。PowerShellを起動した場合はmklinkというコマンドがないのでcmd.exeでコマンドプロンプトに移行してください。

2．以下のコマンドでシンボリックリンクを作成します。Linuxの「ln」コマンドと違って、「先　元」の順なので注意

PS D:\> rmdir C:\Users\ユーザ名\.ollama

確認
C:\Users\ユーザ名\.ollama の項目には子があり、Recurse
パラメーターが指定されていませんでした。続行した場合、項目と共にすべての子が削除されます。続行しますか?
[Y] はい(Y)  [A] すべて続行(A)  [N] いいえ(N)  [L] すべて無視(L)  [S] 中断(S)  [?] ヘルプ (既定値は "Y"): A

PS D:\> cmd.exe
Microsoft Windows [Version 10.0.26100.4349]
(c) Microsoft Corporation. All rights reserved.

D:\>mklink /D C:\Users\ユーザ名\.ollama D:\ollama\.ollama
C:\Users\ユーザ名\.ollama <<===>> D:\ollama\.ollama のシンボリック リンクが作成されました

PS D:\> rmdir C:\Users\ユーザ名\.ollama

確認
C:\Users\ユーザ名\.ollama の項目には子があり、Recurse
パラメーターが指定されていませんでした。続行した場合、項目と共にすべての子が削除されます。続行しますか?
[Y] はい(Y)  [A] すべて続行(A)  [N] いいえ(N)  [L] すべて無視(L)  [S] 中断(S)  [?] ヘルプ (既定値は "Y"): A

PS D:\> cmd.exe
Microsoft Windows [Version 10.0.26100.4349]
(c) Microsoft Corporation. All rights reserved.

D:\>mklink /D C:\Users\ユーザ名\.ollama D:\ollama\.ollama
C:\Users\ユーザ名\.ollama <<===>> D:\ollama\.ollama のシンボリック リンクが作成されました

CUDAの環境セットアップ

以下からCUDAなToolkitをダウンロードします。

https://developer.nvidia.com/cuda-12-8-1-download-archive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_local

※3.1GBもある (ノД`)・゜・。

ダウンロードしたファイルを実行

「cuda_12.8.1_572.61_windows.exe」こんなファイル名だと思う。

私は、D:\cuda に変更しました。

GPUなドライバをインストール

私はNVIDIAのGTX1060というビデオカードをつかっておりますので、以下サイトにて取得致しました。

https://www.nvidia.com/ja-jp/drivers/

↑右下の、「詳細を見る」をクリック

↑「ダウンロード」をクリック

「576.52-desktop-win10-win11-64bit-international-nsd-dch-whql.exe」なファイルがダウンロードされてくるので実行する。

私は、D:\NVIDIA に保存するように変更しましたがCドライブに余裕のある方は元のままで大丈夫だと思います。

※終わったらOSを再起動しておく

open-webuiのインストール

pythonはインストールされていることを前提として、以下でインストールしようとすると、コンパイル環境が必要になります。

PS C:\ d:
PS D:\ mkdir open-webui
PS D:\ cd open-webui
PS D:\open-webui> python.exe -m venv .\venv
PS D:\open-webui> pip install open-webui

PS C:\ d:
PS D:\ mkdir open-webui
PS D:\ cd open-webui
PS D:\open-webui> python.exe -m venv .\venv
PS D:\open-webui> pip install open-webui

GUIでセットアップする方法

https://github.com/BrainDriveAI/OpenWebUI_CondaInstaller

上記のツールを使わせて頂く事にします。

PS C:\> D:
PS D:\> git clone https://github.com/BrainDriveAI/OpenWebUI_CondaInstaller.git
PS D:\> cd OpenWebUI_CondaInstaller
PS D:\OpenWebUI_CondaInstaller>  python.exe main_interface.py

PS C:\> D:
PS D:\> git clone https://github.com/BrainDriveAI/OpenWebUI_CondaInstaller.git
PS D:\> cd OpenWebUI_CondaInstaller
PS D:\OpenWebUI_CondaInstaller>  python.exe main_interface.py

これで、 http://localhost:8080/ でOpen-webuiにアクセスできます！

既に起動しているOllamaとは、localhost:11434 でOpen-webuiが突きに行ってくれるので、パネルの右下のOllamaはインストールしなくても大丈夫です。初めからこのパネルですべてセットアップすればよかった・・・( ;∀;)

Ollamaの使い方は以下を参考にしてください