Источник аналитики Amazon Comprehend

Amazon Comprehend — это управляемая служба для текстового анализа, предоставляемая пользователям платформы AWS.

Поддерживаются следующие службы Amazon Comprehend:

• Sentiment Analysis (Анализ эмоциональной окраски)

• Key phrase Extraction (Извлечение ключевых фраз)

• Language Detection (Определение языка)

• Entity Recognition (Выделение сущностей)

• Syntax Analysis (Анализ синтаксиса)

• Personally Identifiable Information (PII) Detection (Определение информации, позволяющей установить личность)

Для каждой из этих служб требуется создать отдельное подключение с использованием специфических параметров, применимых для конкретной службы.

Amazon Comprehend.

Ограничения

• Amazon Comprehend имеет несколько квот и ограничений, которые можно увеличить, обратившись в отдел по квотам службы AWS и в центр поддержки AWS.

  Например, документ (символы UTF-8) имеет размер 5000 байт, то есть ограничение размера строки приложения в Qlik Sense составляет 5000 байт.

  Использование конечной точки Amazon Comprehend со строками данных больше 5000 байт будет вызывать ошибку TextSizeLimitExceededException. При этом может появляться, к примеру, такое сообщение об ошибке: «Размер введенного текста превышает ограничение. Максимальная длина текста запроса составляет 5000 байт, а размер текста данного запроса — 5276 байт»

  Рекомендации и квоты

• Коннектор Amazon Comprehend имеет ограничение: 1000 строк на запрос. Запросы отправляются в службу конечной точки пакетами по 25 строк. В сценариях, где требуется обработка большего количества строк, используйте Loop в скрипте загрузки данных, чтобы обрабатывать больше строк в пакетах.

• Служба Amazon Comprehend Personally Identifiable Information (PII) Detection имеет ограничение: 100 строк на запрос. Запросы отправляются в службу конечной точки по одному.

• В сценарии с регулярной перезагрузкой приложения лучше всего кэшировать прогноз с использованием файла QVD и отправлять в конечную точку только новые строки. Это улучшит производительность при перезагрузке приложения Qlik Sense и уменьшит нагрузку на конечную точку Amazon Comprehend.

• Существует известное ограничение со стороны Amazon Comprehend, из-за которого отправка нулевых (null), или пустых, значений в Amazon Comprehend приводит к получению ошибки из Amazon Comprehend.

• Если используется относительное имя подключения и необходимо перенести приложение из одного общего пространства в другое или перенести приложение из общего пространства в личное, то может потребоваться время на обновление аналитического подключения с учетом нового расположения пространства.