Como correr un modelo de IA local con Ollama y Qwen 3.6
Como correr un modelo de IA local con Ollama y Qwen 3.6
Ejecutar modelos de IA localmente te da privacidad total, cero costos de API y funciona sin internet. En esta guia usaremos Ollama con el modelo Qwen 3.6 de Alibaba.
Por que ejecutar IA localmente?
- Privacidad: Tus datos nunca salen de tu maquina
- Sin costos: No pagas por token ni por uso
- Sin latencia: Respuestas instantaneas
- Funciona offline: No necesitas conexion a internet
Requisitos del sistema
| Componente | Minimo | Recomendado |
|---|---|---|
| RAM | 8 GB | 16 GB+ |
| GPU | Integrada | NVIDIA RTX 3060+ |
| Almacenamiento | 10 GB libres | SSD NVMe |
| SO | macOS, Linux, Windows | Cualquiera |
Paso 1: Instalar Ollama
macOS
O descarga desde ollama.com
Linux
Windows
Descarga el instalador desde ollama.com/download
Paso 2: Descargar el modelo Qwen 3.6
Qwen 3.6 es un modelo de lenguaje de ultima generacion desarrollado por Alibaba. Viene en varios tamanos:
Paso 3: Ejecutar el modelo
Esto abrira una sesion interactiva donde puedes chatear con el modelo.
Paso 4: Usar la API de Ollama
Ollama expone una API REST en . Puedes usarla con curl:
Integracion con tu codigo
Python
JavaScript/Node.js
Optimizacion de rendimiento
Usar GPU
Si tienes una GPU NVIDIA, Ollama la usara automaticamente. Verifica con:
Contexto mas largo
Por defecto, el contexto es de 4096 tokens. Para aumentarlo:
Temperatura y creatividad
Modelos alternativos en Ollama
Si Qwen no es lo que buscas, prueba:
| Modelo | Uso ideal | Tamano |
|---|---|---|
| Llama 3.1 | Uso general | 8B/70B |
| Mistral | Rapido y eficiente | 7B |
| CodeLlama | Generacion de codigo | 7B/13B |
| Phi-3 | Ligero, buen rendimiento | 3.8B |
Integracion con OpenCode
Puedes usar Ollama como backend para OpenCode:
Solucion de problemas
Ollama no inicia
Modelo muy lento
- Cierra otras aplicaciones que usen GPU
- Reduce el tamano del modelo
- Aumenta la memoria asignada
Error de memoria
El modelo necesita RAM suficiente. Para el modelo 7B necesitas al menos 8GB libres.
Recursos
Te funciono? Comparte tu experiencia en los comentarios.
