У меня кстати много строк из 1-2 слов
Где-то 35% от общего числа. Имеет смысл ?
2ой тезис не понял, сорри ( все ж я не мльщик и не датасаентитст, можешь, пожалуйста, расшифровать или статьей какой-то швырнуться ?)
Как раз для небольших и неплохо структурированных примеров небольших и несложных моделей хватает за глаза.
И да, в поиске информации современные лучшие результаты пока на бустинге, а не на нейронках.
Сейчас поищу статью, но общий посыл такой:
Пусть у тебя наблюдения
аб в,
г де,
Тогда твои биграммы
#а, аб, б#, #в, в#, #г, г#, #д,де, е#
Для удобства нумеруешь их и добавляешь «ранее не видимый биграм» в начало (индекс 0).
Тогда «где?» имеет координаты (поиндексно): 0: 1, 6: 1, 8: 1, а все остальные – по нулям. Вот тебе и вектор признаков. Детали я упростил, но и так должно сработать.