Update app.py

app.py

@@ -3,107 +3,156 @@ import os
 import json
 import re
 import random
+import requests
 from difflib import get_close_matches
 from huggingface_hub import InferenceClient
-from deep_translator import GoogleTranslator
+from bs4 import BeautifulSoup
 import gradio as gr
 
-# === patterns.json (опционально) ===
-PATTERNS = {}
-HAS_PATTERNS = False
-try:
-    with open("patterns.json", "r", encoding="utf-8") as f:
-        PATTERNS = json.load(f)
-    HAS_PATTERTH = True
-except:
-    pass
-
-KEYWORDS = {
-    "привет": ["привет", "здравствуй", "хай"],
-    "как дела": ["дела", "как ты", "настроение"],
-    "имя": ["имя", "кто ты", "зовут"],
-    "пока": ["пока", "выход", "до свидания", "стоп"]
-}
+# === Настройки: разрешённые домены (без защиты) ===
+ALLOWED_DOMAINS = [
+    "uncomos.github.io",
+    "runget.dev",
+    "dualgaming.centre",
+    "example-knowledge-base.com"
+]
 
-def preprocess(text):
-    return re.sub(r'[^а-яё\s]', ' ', text.lower()).strip()
-
-def get_fallback_response(user_input):
-    if not HAS_PATTERNS:
-        return None
-    clean = preprocess(user_input)
-    if not clean:
-        return None
-    if any(w in clean for w in ["пока", "выход", "стоп"]):
-        return random.choice(PATTERNS["пока"])
-    knowledge = PATTERNS.get("knowledge", {})
-    if clean in knowledge:
-        return knowledge[clean]
-    matches = get_close_matches(clean, knowledge.keys(), n=1, cutoff=0.6)
-    if matches:
-        return knowledge[matches[0]]
-    for intent, words in KEYWORDS.items():
-        for token in clean.split():
-            if get_close_matches(token, words, n=1, cutoff=0.6):
-                return random.choice(PATTERNS[intent])
-    return None
+SEARCH_URLS = [
+    f"https://{domain}" for domain in ALLOWED_DOMAINS
+]
 
-# === Google Translate через deep-translator ===
-def google_translate(text, target="ru"):
+# === patterns.json ===
+def load_json(path, default):
     try:
-        return GoogleTranslator(source="auto", target=target).translate(text)
-    except Exception as e:
-        return f"❌ Ошибка перевода: {str(e)[:100]}"
+        with open(path, "r", encoding="utf-8") as f:
+            return json.load(f)
+    except:
+        return default
 
-# === Inference API ===
-MODEL_ID = "IlyaGusev/saiga_llama3_8b"
-client = InferenceClient()
+PATTERNS = load_json("patterns.json", {
+    "привет": ["Привет!"],
+    "пока": ["До свидания!"],
+    "default": ["Не знаю."],
+    "knowledge": {}
+})
 
-def respond(message, history):
-    user_input = message.strip()
-    if not user_input:
-        return "Введите запрос."
+def save_patterns():
+    with open("patterns.json", "w", encoding="utf-8") as f:
+        json.dump(PATTERNS, f, ensure_ascii=False, indent=2)
 
-    if user_input.lower().startswith("система:"):
-        return "🔒 Управление ОС недоступно."
+def preprocess(text):
+    return re.sub(r'[^а-яёa-z\s]', ' ', text.lower()).strip()
 
-    if user_input.lower().startswith("перевод:"):
-        text = user_input[8:].strip()
-        if not text:
-            return "🔤 Пример: `перевод: Hello`"
-        return google_translate(text)
+# === Скрапинг текста с сайта ===
+def scrape_text_from_url(url, timeout=8):
+    try:
+        headers = {"User-Agent": "Newton-MAX-bot/1.0 (+https://hf.space)"}
+        resp = requests.get(url, headers=headers, timeout=timeout)
+        if resp.status_code == 200:
+            soup = BeautifulSoup(resp.text, "html.parser")
+            for tag in soup(["script", "style", "nav", "footer", "header"]):
+                tag.decompose()
+            text = soup.get_text(separator=" ", strip=True)
+            return " ".join(text.split())[:2000]  # ограничение
+    except Exception:
+        pass
+    return None
 
-    fallback = get_fallback_response(user_input)
-    if fallback:
-        return fallback
+def search_web(query):
+    query_clean = preprocess(query)
+    for base_url in SEARCH_URLS:
+        # Пробуем основную страницу
+        text = scrape_text_from_url(base_url)
+        if text and (query_clean in preprocess(text) or len(query_clean) < 10):
+            return text
+        # Можно добавить логику поиска по /search?q=..., но это редко работает
+    return None
 
-    prompt = f"Ответь кратко на русском: {user_input}"
+# === TinyLlama через Inference API ===
+MODEL_ID = "TinyLlama/TinyLlama-1.1B-Chat-v1.0"
+client = InferenceClient()
+
+def generate(prompt, max_tokens=256):
     messages = [{"role": "user", "content": prompt}]
     response = ""
     try:
         for chunk in client.chat_completion(
             messages,
             model=MODEL_ID,
-            max_tokens=256,
-            stream=True,
+            max_tokens=max_tokens,
             temperature=0.6,
-            top_p=0.92
+            top_p=0.92,
+            stream=True
         ):
             token = chunk.choices[0].delta.content or ""
             response += token
-            yield response
+        return response.strip()
     except Exception as e:
-        yield f"⚠️ Ошибка: {str(e)}"
+        return f"⚠️ Ошибка: {str(e)[:100]}"
+
+# === Основная логика ===
+def respond(message, history):
+    user_input = message.strip()
+    if not user_input:
+        return "Введите запрос."
+
+    # Обучение
+    if user_input.lower().startswith("запиши в базу данных:"):
+        rest = user_input[20:].strip()
+        if "?" not in rest:
+            return "❌ Формат: `запиши в базу данных: Вопрос? Ответ.`"
+        question, answer = rest.split("?", 1)
+        question = question.strip() + "?"
+        answer = answer.strip()
+        if question and answer:
+            PATTERNS["knowledge"][question.lower()] = answer
+            save_patterns()
+            return f"✅ Записал: {question} → {answer}"
+        return "❌ Неполный формат."
+
+    # Перевод
+    if user_input.lower().startswith("перевод:"):
+        text = user_input[8:].strip()
+        if not text:
+            return "🔤 Пример: `перевод: Hello`"
+        if any(c in text for c in "абвгдеёжзийклмнопрстуфхцчшщъыьэюя"):
+            prompt = f"Translate to English: {text}"
+        else:
+            prompt = f"Переведи на русский: {text}"
+        return generate(prompt, max_tokens=128)
+
+    # === СКРАПИНГ С САЙТОВ ===
+    context = search_web(user_input)
+    if context:
+        prompt = (
+            f"ИНФОРМАЦИЯ С САЙТА:\n{context}\n\n"
+            f"ВОПРОС: {user_input}\n"
+            f"Дай краткий ответ на русском, основываясь ТОЛЬКО на приведённой информации."
+        )
+        return generate(prompt, max_tokens=256)
+
+    # Fallback через patterns.json
+    clean = preprocess(user_input)
+    knowledge = PATTERNS.get("knowledge", {})
+    if clean in knowledge:
+        return knowledge[clean]
+    matches = get_close_matches(clean, knowledge.keys(), n=1, cutoff=0.6)
+    if matches:
+        return knowledge[matches[0]]
+
+    # Обычный режим
+    return generate(f"Ответь кратко на русском: {user_input}", max_tokens=256)
 
 # === Gradio ===
 chatbot = gr.ChatInterface(
     respond,
-    title="🚀 Newton MAX {beta}",
-    description="Поддержка: `перевод: ...`",
+    title="Newton MAX {BETA1}",
+    description="Мощный ИИ Newton MAX",
     examples=[
         ["Привет!", None],
+        ["что такое Runget?", None],
         ["перевод: How are you?", None],
-        ["Что такое ИИ?", None]
+        ["запиши в базу данных: Что такое Runget? Лёгкая ОС с ИИ.", None]
     ],
     theme="soft"
 )