Ollama + Open-WebuiをWindowsで試す

Windows環境でCUDAを使ってGPU活用してOllamaを動かしてみる。

Ollamaのインストール

• Ollamaのダウンロード
  • https://ollama.com/download

• Ollamaのインストール
  • ダウンロードしたファイル(OllamaSetup.exe)をダブルクリクすると何も選択肢も無く勝手にCドライブにインストールされてしまいますが、私の環境ではCドライブは容量が少ないのでDドライブにインストールすることとしました。PowerShellなどから以下のようにコマンドで実行することで指定のディレクトリにインストールされます。

PS D:\> OllamaSetup.exe /DIR=D:\ollama

CUDAの環境セットアップ

以下からCUDAなToolkitをダウンロードします。

https://developer.nvidia.com/cuda-12-8-1-download-archive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_local

※3.1GBもある (ノД`)・゜・。

ダウンロードしたファイルを実行

「cuda_12.8.1_572.61_windows.exe」こんなファイル名だと思う。

私は、D:\cuda に変更しました。

GPUなドライバをインストール

私はNVIDIAのGTX1060というビデオカードをつかっておりますので、以下サイトにて取得致しました。

https://www.nvidia.com/ja-jp/drivers/

↑右下の、「詳細を見る」をクリック

↑「ダウンロード」をクリック

「576.52-desktop-win10-win11-64bit-international-nsd-dch-whql.exe」なファイルがダウンロードされてくるので実行する。

私は、D:\NVIDIA に保存するように変更しましたがCドライブに余裕のある方は元のままで大丈夫だと思います。

※終わったらOSを再起動しておく

open-webuiのインストール

pythonはインストールされていることを前提として、以下でインストールしようとすると、コンパイル環境が必要になります。

PS C:\ d:
PS D:\ mkdir open-webui
PS D:\ cd open-webui
PS D:\open-webui> python.exe -m venv .\venv
PS D:\open-webui> pip install open-webui

GUIでセットアップする方法

https://github.com/BrainDriveAI/OpenWebUI_CondaInstaller

上記のツールを使わせて頂く事にします。

PS C:\> D:
PS D:\> git clone https://github.com/BrainDriveAI/OpenWebUI_CondaInstaller.git
PS D:\> cd OpenWebUI_CondaInstaller
PS D:\OpenWebUI_CondaInstaller>  python.exe main_interface.py

これで、 http://localhost:8080/ でOpen-webuiにアクセスできます！

既に起動しているOllamaとは、localhost:11434 でOpen-webuiが突きに行ってくれるので、パネルの右下のOllamaはインストールしなくても大丈夫です。初めからこのパネルですべてセットアップすればよかった・・・( ;∀;)

Ollamaの使い方は以下を参考にしてください