radlab/polish-sts-dataset
Updated • 26 • 2
How to use radlab/polish-cross-encoder with sentence-transformers:
from sentence_transformers import CrossEncoder
model = CrossEncoder("radlab/polish-cross-encoder")
query = "Which planet is known as the Red Planet?"
passages = [
"Venus is often called Earth's twin because of its similar size and proximity.",
"Mars, known for its reddish appearance, is often referred to as the Red Planet.",
"Jupiter, the largest planet in our solar system, has a prominent red spot.",
"Saturn, famous for its rings, is sometimes mistaken for the Red Planet."
]
scores = model.predict([(query, passage) for passage in passages])
print(scores)How to use radlab/polish-cross-encoder with Transformers:
# Load model directly
from transformers import AutoTokenizer, AutoModelForSequenceClassification
tokenizer = AutoTokenizer.from_pretrained("radlab/polish-cross-encoder")
model = AutoModelForSequenceClassification.from_pretrained("radlab/polish-cross-encoder")Below is an example of using the model:
from sentence_transformers.cross_encoder import CrossEncoder
model_path = "radlab/polish-cross-encoder"
model = CrossEncoder(model_path)
questions = [
"Jaką mamy dziś pogodę? bo Andrzej nic nie mówił.",
"Gdzie jedzie Andrzej? Bo wczoraj był w Warszawie.",
"Czy oskarżony się zgadza z przedstawionym wyrokiem?",
]
answers = [
"Pan Andrzej siedzi w pociągu i jedzie do Wiednia. Ogląda na telefonie zabawne filmiki.",
"Poada deszcz i jest wilgotno, jednak wczoraj było słonecznie.",
"Wyrok jest prawomocny i nie podlega dalszym rozważaniom.",
]
for question in questions:
context_with_question = [(s, question) for s in answers]
results = sorted(
{
idx: r for idx, r in enumerate(model.predict(context_with_question))
}.items(),
key=lambda x: x[1],
reverse=True,
)
print(f"QUESTION: {question}")
print("ANSWERS (sorted):")
for idx, score in results:
print(f"\t[{score}]\t{answers[idx]}")
print("")
and output to the standard output:
QUESTION: Jaką mamy dziś pogodę? bo Andrzej nic nie mówił.
ANSWERS (sorted):
[0.016749681904911995] Poada deszcz i jest wilgotno, jednak wczoraj było słonecznie.
[0.01602918468415737] Pan Andrzej siedzi w pociągu i jedzie do Wiednia. Ogląda na telefonie zabawne filmiki.
[0.016013670712709427] Wyrok jest prawomocny i nie podlega dalszym rozważaniom.
QUESTION: Gdzie jedzie Andrzej? Bo wczoraj był w Warszawie.
ANSWERS (sorted):
[0.5997582674026489] Pan Andrzej siedzi w pociągu i jedzie do Wiednia. Ogląda na telefonie zabawne filmiki.
[0.4528200924396515] Wyrok jest prawomocny i nie podlega dalszym rozważaniom.
[0.17350871860980988] Poada deszcz i jest wilgotno, jednak wczoraj było słonecznie.
QUESTION: Czy oskarżony się zgadza z przedstawionym wyrokiem?
ANSWERS (sorted):
[0.8431766629219055] Wyrok jest prawomocny i nie podlega dalszym rozważaniom.
[0.6823258996009827] Poada deszcz i jest wilgotno, jednak wczoraj było słonecznie.
[0.558414101600647] Pan Andrzej siedzi w pociągu i jedzie do Wiednia. Ogląda na telefonie zabawne filmiki.