LLM の巻

画像や文書などの生成系 AI をさわってみたかったのですが、手持ちの PC (特に GPU) がしょぼいので躊躇していました。ふと見かけた LINE の LLM の変換版が軽そうなので試してみました。

• https://huggingface.co/mmnga/line-corp-japanese-large-lm-3.6b-ggml
• LINE が公開した日本語言語モデルをM2 Macbook Airで動かす

ビルドは上記記事の通りですぐに完成です。

例1: gpt-neox -m 'line-corp-japanese-large-lm-3.6b-ggml-q8_0.bin' -n 128 -t 8 -p 'HaikuOSは、'

例2: gpt-neox -m 'line-corp-japanese-large-lm-3.6b-ggml-q8_0.bin' -n 128 -t 8 -p '拡散波動砲'

GPU も SSD も必要とせず動作しました。LLM もずいぶん敷居が低くなりましたね。今回ちょっと怪しげな文書になってしまいましたが、いい感じにするにはもっとプロンプトなどを研究しないといけないでしょうね。

LINE といえば、フォントをまだ試してないような…

---