Ollama: Full Tutorial Membuat Agen AI Offline

Ollama adalah aplikasi CLI (Command line interface) untuk menjalankan LLM (Large Language Model) di komputer lokal dengan mudah tanpa akses internet. Ollama sendiri bukan sekedar aplikasi tapi sebuah perusahaan, Dibuat oleh Jeffrey Morgan dan Michael Chiang periksa di website ycombinator!. Pertama kali diluncurkan tahun 2023 dan bisa jalan di docker tanpa masalah.

Outline Blog

1. Apa itu Ollama
2. Download dan Install Ollama
3. Pilih model
4. Jalankan Model AI
5. Membuat Agen AI
6. Deepseek AI.
7. Kesimpulan

Download dan Install Ollama

Install ollama cukup mudah, buka halaman https://ollama.com/download, pilih sistem operasi sesuai pilihan mu. Tidak sulit menginstallnya, sama seperti menginstall aplikasi tetapi Ollama tidak memiliki tampilan seperti chatgpt yang langsung chat ke AI.

Pilih Model

Buka Command prompt (windows) atau terminal (unix based) anda, ketika jalankan perintah ollama kamu akan menemukan banyak command atau perintah lainnya untuk jalankan ollama.

❯ ollama
Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

Untuk menjalankan AI Ollama kamu harus download model LLM yang akan digunakan. Model LLM adalah model yang telah di latih dengan berbagai jenis parameter dan konfigurasi. Pemilihan model AI tidak sulit dan mudah dipahami, buka halaman daftar model yang tersedia di https://ollama.com/search.

Sebagai contoh, mari kita gunakan model llama3.2, pilih total parameter 1b (1 billion/1 miliar) parameter karena kecil dan ringan. Kemudian copy perintah di sudut kanan ollama run llama3.2:1b dan jalankan di terminal anda.

Llama adalah model AI yang dibuat oleh meta (perusahaan facebook). Periksa lisensi llama pada halaman license model Llama

Jika kamu punya spesifikasi komputer lebih besar maka bisa pilih spesifikasi parameter yang lebih besar juga. Semakin besar parameter yang digunakan maka akan semakin baik respon LLM AI.

Menjalankan Model AI

❯ ollama run llama3.2:1b
pulling manifest
pulling 74701a8c35f6...   0% ▕                ▏ 3.7 MB/1.3 GB  1.3 MB/s  16m52s

Perintah run pada Ollama akan otomatis download model sebesar 1.3GB dan setelah selesai akan langsung jalan tampilan chat sederhana untuk input teks. Jika ingin download model saja bisa gunakan perintah ollama pull

❯ ollama pull llama3.2:1b

Setelah menjalankan perintah ollama run, maka tampilan chat AI akan seperti ini. Kirim pesan seperti layaknya chat dengan chatgpt.

❯ ollama run llama3.2:1b
>>> Send a message (/? for help)

Dan sekarang kamu bisa gunakan AI dengan gratis tanpa internet karena model yang kamu gunakan sudah berlisensi open source.

Membuat Agen AI

Setiap kali menjalankan AI model, ia tidak menyimpan memori apapun dan selalu memberikan respon yang standard. Membuat prompt diawal untuk memerintah AI merespon sesuai yang diinginkan pastinya cukup melelahkan.

Ollama bisa membuat agen AI dengan menyimpan prompt awal agar AI bisa menjadi agen sesuai yang diinginkan. Sifat AI akan disimpan dalam sebuah file disebut Modelfile. Sebagai contoh kita akan membuat agen AI sebagai developer agar dapat membantu memberikan code-snippet dengan cepat dan singkat. Buatlah file Modelfile di komputer anda dan isi seperti dibawah ini

FROM llama3.2

# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1

# set the system message
SYSTEM """
Provide a concise, direct answer to the following programming question without any explanation or additional context. I am a software engineer and only need the solution or code snippet.
"""

Jika kamu developer lebih baik baca ini juga untuk membuat Agen AI Developer

• Turn any AI into your co-developer agent

File diatasa akan membuat AI agen dengan pondasi llama3.2 sebagai base model. Jalankan perintah ollama create <nama AI> -f ./Modelfile untuk membuat model AI. Disini kita akan namai ia devagent

ollama create devagent -f ./Modelfile

Lalu jalankan devagent yang telah dibuat dengan perintah ollama run devagen

❯ ollama run devagent
>>> javascript code to get searchParams in url
```javascript
const url = new URL(window.location.href);
console.log(url.searchParams);
```

Anda telah membuat agen offline sendiri di komputer anda tanpa internet!. Tetapi perlu diingat untuk menggunakan aplikasi ini dengan baik dan tidak digunakan untuk kejahatan apapun tanpa tanggung jawab!

Deepseek: AI Ringan dan Powerful

Deepseek adalah AI model buatan cina yang baru-baru ini menjadi trending diinternet karena penggunaan sumber daya lebih rendah tetapi sudah memiliki reasoning.

Reasoning adalah kemampuan AI untuk mengenali masalah dan membuat pemecahan masalah, alih-alih langsung memberikan solusi, AI akan mengevaluasi solusi yang dikeluarkan untuk mendapatkan hasil yang lebih akurat.

Deepseek menyediakan model AI secara open source di github mereka, ollama, dan huggingface deepseek. Untuk menjalankan deepseek di local cukup memilih model yang akan digunakan dari database model yang ada di ollama. Deepseek-r1 adalah model yang sedang populer saat ini, pada halaman ollama sudah ada beberapa pilihan model dengan jumlah parameter yang bervariasi, sebagai contoh berikut cara menjalankan deepseek parameter 1.5b agar ringan digunakan di laptop terendah sekalipun.

> ollama run deepseek-r1:1.5b

Ollama akan mengunduh dan menjalankan model deepseek-r1. Jika ingin memilih parameter yang lebih tinggi, langsung dipilih saja dari website ollama dan memilih parameter yang diinginkan. Ikuti perkembangan deepseek ini dari halaman website mereka.

Kesimpulan

Ollama adalah aplikasi terminal yang digunakan untuk jalankan model LLM AI dengan mudah, tidak hanya menjalankan LLM tetapi juga punya resource untuk download dan membuat model AI sendiri. Ollama juga memungkinkan untuk membuat agen AI sendiri dengan menggunakan base model yang telah tersedia. Ini sangat menarik!, semoga membantu dan terima kasih sudah membaca. Berikan komentar mu tentang ollama dan jangan sungkan untuk bertanya.