NguyenDinhHieu/Cube-Python-1.0

AI Python — Code Assistant (LangChain + CTransformers)

Demo chạy LLM dạng GGUF bằng ctransformers + langchain để trả lời theo prompt: “chỉ trả lời bằng code Python”.

Demo nhanh

• Input: một yêu cầu/bài toán Python (text)
• Output: chỉ code Python (không giải thích)

File chạy chính: app.py
Model mặc định: Cube-Python.gguf

Cài đặt

Tạo môi trường ảo (khuyến nghị) rồi cài dependencies:

pip install -U langchain langchain-community ctransformers

Chạy

Đảm bảo file model Cube-Python.gguf nằm cùng thư mục với app.py, rồi chạy:

python app.py

Cấu hình (trong app.py)

• MODEL_FILE: tên file GGUF (mặc định Cube-Python.gguf)
• MODEL_TYPE: loại model cho CTransformers (mặc định llama)
• GPU_LAYERS:
  • 0 = chạy CPU
  • nếu máy có GPU VRAM đủ, tăng lên (ví dụ 10–20) để nhanh hơn
• CONTEXT_LENGTH: độ dài ngữ cảnh (mặc định 4096)

Cấu trúc repo

• app.py: prompt + chain (LangChain) + load model GGUF (CTransformers)
• Cube-Python.gguf: file model GGUF

Ví dụ prompt

Bạn có thể thay biến question trong app.py bằng bài toán của bạn (tiếng Việt/tiếng Anh đều được).

Credits

• LangChain
• CTransformers

Nếu bạn thấy hay

Cho mình xin 1 follow trên Hugging Face và 1 tym (like) cho repo nhé. ❤️