Update app.py

app.py

@@ -2,13 +2,14 @@
 import os
 import json
 import re
-import torch
 import random
+import torch
 from difflib import get_close_matches
-from transformers import AutoTokenizer, AutoModelForCausalLM
+from huggingface_hub import InferenceClient
 from ddgs import DDGS
 import gradio as gr
 
+# === Загрузка patterns.json ===
 PATTERNS = {}
 HAS_PATTERNS = False
 try:
@@ -28,55 +29,28 @@ KEYWORDS = {
 def preprocess(text):
     return re.sub(r'[^а-яё\s]', ' ', text.lower()).strip()
 
-print("Инициализация...")
-MODEL_ID = "TinyLlama/TinyLlama-1.1B-Chat-v1.0"
-tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, trust_remote_code=False)
-model = AutoModelForCausalLM.from_pretrained(
-    MODEL_ID,
-    torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
-    device_map="auto",
-    low_cpu_mem_usage=True
-)
-print("✅ готово!")
+# === Inference Client для Saiga Llama3 ===
+MODEL_ID = "IlyaGusev/saiga_llama3_8b"
+client = InferenceClient()  # без токена — модель публичная
 
-# === Веб-поиск ===
-def web_search(query, max_results=3):
+def web_search(query, max_results=2):
     try:
         with DDGS() as ddgs:
-            results = ddgs.text(query, region="ru-ru", max_results=max_results)
-            return "\n".join([f"{r['title']}: {r['body']}" for r in results])
-    except Exception as e:
-        return f"Ошибка поиска: {str(e)[:100]}"
-
-# === Генерация через TinyLlama ===
-def generate_with_tinyllama(prompt_text, max_tokens=256):
-    try:
-        inputs = tokenizer(prompt_text, return_tensors="pt").to(model.device)
-        outputs = model.generate(
-            **inputs,
-            max_new_tokens=max_tokens,
-            do_sample=True,
-            temperature=0.6,
-            top_p=0.92,
-            pad_token_id=tokenizer.eos_token_id,
-            repetition_penalty=1.1
-        )
-        full = tokenizer.decode(outputs[0], skip_special_tokens=True)
-        if "<|assistant|>" in full:
-            return full.split("<|assistant|>")[-1].strip()
-        else:
-            return full[len(prompt_text):].strip()
-    except Exception as e:
-        return f"Ошибка генерации: {str(e)[:100]}"
+            results = ddgs.text(query, region="ru-ru", max_results=max_results, timeout=10)
+            if results:
+                return "\n".join([f"{r['title']}: {r['body']}"[:180] for r in results])
+            else:
+                return "Ничего не найдено."
+    except Exception:
+        return "Поиск временно недоступен."
 
-# === Fallback через patterns.json ===
 def get_fallback_response(user_input):
     if not HAS_PATTERNS:
         return None
     clean = preprocess(user_input)
     if not clean:
         return None
-    if any(w in clean for w in ["пока", "выход", "стоп", "до свидания"]):
+    if any(w in clean for w in ["пока", "выход", "стоп"]):
         return random.choice(PATTERNS["пока"])
     knowledge = PATTERNS.get("knowledge", {})
     if clean in knowledge:
@@ -85,59 +59,70 @@ def get_fallback_response(user_input):
     if matches:
         return knowledge[matches[0]]
     for intent, words in KEYWORDS.items():
-        if any(get_close_matches(token, words, n=1, cutoff=0.6) for token in clean.split()):
-            return random.choice(PATTERNS[intent])
+        for token in clean.split():
+            if get_close_matches(token, words, n=1, cutoff=0.6):
+                return random.choice(PATTERNS[intent])
     return None
 
-# === Основная логика ===
 def respond(message, history):
     user_input = message.strip()
-    user_lower = user_input.lower()
+    if not user_input:
+        return "Пожалуйста, введите запрос."
 
-    # === Системные команды (заглушка) ===
-    if user_lower.startswith("система:"):
+    # Система
+    if user_input.lower().startswith("система:"):
         return "🔒 Управление ОС недоступно в демо."
 
-    # === Перевод ===
-    if user_lower.startswith("перевод:"):
+    # Перевод
+    if user_input.lower().startswith("перевод:"):
         text = user_input[8:].strip()
         if not text:
             return "🔤 Пример: `перевод: Hello, how are you?`"
-        prompt = f"<|user|>\nПереведи на русский язык: {text}\n<|assistant|>\n"
-        return generate_with_tinyllama(prompt, max_tokens=128)
-
-    # === Веб-поиск ===
-    if user_lower.startswith("поиск:"):
+        prompt = f"Переведи на русский: {text}"
+    # Поиск
+    elif user_input.lower().startswith("поиск:"):
         query = user_input[6:].strip()
         if not query:
             return "🔍 Пример: `поиск: погода в Москве`"
+        yield "🔍 Ищу...\n"
         context = web_search(query)
-        prompt = (
-            f"<|user|>\nИнформация из интернета:\n{context}\n\n"
-            f"Кратко ответь на русском: {query}\n"
-            f"<|assistant|>\n"
-        )
-        return generate_with_tinyllama(prompt, max_tokens=256)
+        prompt = f"ИНФОРМАЦИЯ ИЗ ИНТЕРНЕТА:\n{context}\n\nОтветь кратко на русском: {query}"
+    # Обычный режим
+    else:
+        fallback = get_fallback_response(user_input)
+        if fallback:
+            yield fallback
+            return
+        prompt = f"Ответь кратко и чётко на русском: {user_input}"
 
-    # === Fallback через patterns.json ===
-    fallback = get_fallback_response(user_input)
-    if fallback:
-        return fallback
+    messages = [{"role": "user", "content": prompt}]
 
-    # === Обычный режим ===
-    prompt = f"<|user|>\n{user_input}\nОтветь кратко на русском.\n<|assistant|>\n"
-    return generate_with_tinyllama(prompt, max_tokens=256)
+    response = ""
+    try:
+        for chunk in client.chat_completion(
+            messages,
+            model=MODEL_ID,
+            max_tokens=512,
+            temperature=0.6,
+            top_p=0.92,
+            stream=True
+        ):
+            token = chunk.choices[0].delta.content or ""
+            response += token
+            yield response
+    except Exception as e:
+        yield f"⚠️ Ошибка: {str(e)}"
 
 # === Gradio интерфейс ===
 chatbot = gr.ChatInterface(
     respond,
-    title="🚀 Newton MAX - максимальная версия Newton! (BETA)",
-    description="Поддержка команд: `поиск: ...`, `перевод: ...`, `система: ...`",
+    title="🚀 Newton MAX - полноценная версия Newton! [BETA]",
+    description="Поддержка команд: `поиск: ...`, `перевод: ...`",
     examples=[
-        "Привет!",
-        "Что такое квантовый компьютер?",
-        "поиск: курс доллара",
-        "перевод: How are you doing today?"
+        ["Привет!", None],
+        ["Что такое квантовый компьютер?", None],
+        ["поиск: курс доллара", None],
+        ["перевод: How are you doing?", None]
     ],
     theme="soft"
 )