Определение языка текста (language identification) — это задача автоматического распознавания языка, на котором написан данный текстовый фрагмент. Это фундаментальная задача в NLP, которая необходима для правильной предобработки, выбора токенизаторов, морфологических анализаторов, переводчиков, а также для многозадачных и мультилингвальных систем (например, Google Translate или многоязычные чат-боты).

Общий подход

Задача может быть формализована как классификация текста по языкам. Допустим, у нас есть множество языков L={l1,l2,...,ln}L = \{l_1, l_2, ..., l_n\}, и нужно построить функцию f:T→Lf: T \rightarrow L, где TT — текстовый ввод.

Методы определения языка

1. Правила и эвристики

Это самый простой способ, основанный на ручных правилах:

• Идентификация по алфавиту: например, кириллица → русский, украинский; латиница → английский, немецкий и т.п.

• Наличие уникальных слов/символов (например, «ß» характерно для немецкого, «ё» — для русского).

• Частотный анализ буквенных триграмм или биграмм.

• Быстрая, но неэффективна на коротких или смешанных фрагментах.

2. Статистические методы

Основываются на построении вероятностных моделей языков.

Метод n-грамм:

• Строится модель частот n-грамм (чаще всего 3-грамм) для каждого языка на основе обучающего корпуса.

• Для входного текста вычисляется частотный профиль n-грамм.

• Выбирается язык, чья модель наиболее близка к тексту (например, по косинусному сходству или расстоянию Чебышёва).

Пример:

• Для английского часты n-граммы: the, and, ing.

• Для французского: les, ent, que.

Плюсы:

• Хорошо работает даже для коротких фрагментов.

• Не требует сложной разметки.

Минусы:

• Трудности с языками, имеющими схожие n-грамм профили.

• Плохо работает на смешанных или шумных данных.

3. Машинное обучение

• Классификаторы обучаются на признаках, извлечённых из текста: n-граммы символов, длины слов, частота букв, присутствие стоп-слов.

• Алгоритмы: Naive Bayes, Logistic Regression, SVM, Random Forest и др.

• Возможно использование TF-IDF + классификатор.

Обучение:

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
\# обучающий корпус
texts = \["Bonjour, je suis fatigué", "Hello, how are you", "Привет, как дела"\]
labels = \["fr", "en", "ru"\]
vectorizer = CountVectorizer(analyzer='char', ngram_range=(1, 3))
X = vectorizer.fit_transform(texts)
clf = MultinomialNB()
clf.fit(X, labels)
pred = clf.predict(vectorizer.transform(\["Saluton! Kiel vi fartas?"\]))

4. Нейросетевые модели

Современные модели, использующие сверточные сети, RNN, трансформеры и эмбеддинги.

Модели:

• FastText от Facebook: обучена на сотнях языков, работает на уровне символов и слов.

• XLM-RoBERTa, mBERT — трансформеры, обученные на мультилингвальных корпусах.

• T5 и другие seq2seq модели.

FastText пример:

$ curl -LO https://dl.fbaipublicfiles.com/fasttext/supervised-models/lid.176.bin
import fasttext
model = fasttext.load_model("lid.176.bin")
text = "Привет, как дела?"
lang, confidence = model.predict(text)
print(lang\[0\], confidence\[0\])

Преимущества:

• Очень высокая точность (более 95%).

• Поддержка более 150 языков.

• Подходит для коротких текстов (например, твитов, поисковых запросов).

5. API и готовые библиотеки

• langdetect (Python): порт Java-библиотеки Google Language Detection.

• langid (Python): полностью автономная, не требует интернета.

• cld3: от Google, на C++, может работать как Python-библиотека (pycld3).

• spaCy с плагином spacy-langdetect.

Пример langdetect:

from langdetect import detect, detect_langs
detect("Ceci est un texte en français.") # 'fr'

Пример langid:

import langid
langid.classify("Hello, world!") # ('en', 0.99)

Влияние длины текста

Для коротких текстов полезны character-level модели и n-граммные методы. FastText показывает лучшие результаты на коротких строках.

Проблемы и вызовы

• Многоязычные тексты: один текст содержит фразы на нескольких языках.

• Диалекты и региональные языки: часто отсутствуют в моделях.

• Короткие тексты: одно-два слова, аббревиатуры.

• Кириллица и латиница: похожие языки (русский, болгарский, украинский).

• Нормализация: эмодзи, цифры, транслит могут искажать анализ.

Подходы для повышения точности

• Удаление HTML/тегов/спецсимволов перед анализом.

• Снижение регистра и нормализация символов.

• Аугментация обучающих данных.

• Учет вероятностей в downstream-задачах (например, в чат-ботах, если известно, на каком языке пишет пользователь).

Применения

• Автоматический перевод.

• Сегментация по языку в социальных сетях.

• Языковая маршрутизация в колл-центрах.

• Фильтрация данных в многоязычных корпусах.

• Идентификация языка для web-скрапинга и поиска.

Автоматическое определение языка — это зрелая, но всё ещё активная область исследований и разработок, особенно с учётом растущей роли многоязычных моделей и приложений. Оптимальный подход зависит от длины текста, количества поддерживаемых языков, скорости и требований к точности.