Профессия NLP-специалист (инженер)

NLP-специалист обрабатывает естественный (непрограммный) язык, чтобы «научить» компьютер распознавать речь, делать автоматические переводы, оценивать эмоциональную окраску текстовых сообщений, отвечать на голосовые и письменные запросы и многому другому, что нужно при использовании компьютера для работы с данными на человеческом языке. Профессия на пересечении программной инженерии и лингвистики. Кстати, недавно центр профориентации ПрофГид разработал точный тест на профориентацию, который сам расскажет, какие профессии вам подходят, даст заключение о вашем типе личности и интеллекте.

Читайте также

Профессия «Профессия Tech Lead (техлид)»

Профгид

Краткое описание

Английская аббревиатура NLP в названии профессии расшифровывается как Natural Language Processing и переводится «обработка естественного языка». Специалист по NLP работает с языковыми моделями искусственного интеллекта (ИИ) по технологиям Machine и Deep Learning (машинного и глубокого обучения – ML и DL), компьютерной лингвистики, чтобы научить компьютер понимать и интерпретировать человеческий язык.

Основная задача NLP-инженера – обучить модели ИИ работе с текстами из разных коммуникационных каналов (e-mail, соцсети, аудио- и видеофайлы и др.). Он решает такие задачи из области анализа текстовой информации, как категоризация документов, создание цифровых помощников (Сири, Алиса), распознавание эмоций в голосе и тексте. Еще одно направление работы – перевод речи в текст (транскрибирование аудиосигнала), распознавание голосовых текстов и генерация устной речи, разработка чат-ботов для кол-центров.

Особенности профессии

NLP – это одна из специализаций датасайентиста. Многие применяемые в обработке естественных языков технологии используются в сфере Data Science (DS) в целом. Специалисты по NLP и DS работают с огромными массивами данных, чтобы найти в них определенные закономерности, но в NLP база поиска – это обычно текстовые данные, а не вообще любые – например, статистика интернет-трекеров или данные камер видеонаблюдения. Специалист по обработке языка занимается грамматическим, фонетическим и семантическим анализом текстового материала, лингвистическим моделированием на основе языковых закономерностей, созданием алгоритмов обработки текста или голосового сообщения – пишет утилиты, которые извлекают данные из веб-источников и конвертируют их, корректируют код и т. д.

NLP-специалисту нужно профессионально владеть русским языком и одновременно разбираться:

• в машинном и глубоком обучении;
• программировании;
• архитектурах нейросетей;
• диалоговых системах;
• способах интеграции нейросетей в уже существующие продукты, развертывании моделей и т. д.

NLP-специалисты используют свои знания для автоматизации:

• обработки, анализа и архивирования документов большого объема;
• классификации текстов и извлечения из них нужной информации;
• анализа записей кол-центров, отзывов клиентов;
• запуска чат-ботов для ответов и советов клиентам.
• ответов в чат-ботах на вопросы типа «что?», «кто?», «как?», «где?», «когда?» т. д.

Благодаря работе NLP-специалистов боты бизнес-приложений сортируют запросы на стандартные с возможностью автоматических ответов и сложные, которые передают в службу поддержки. Это сокращает время ожидания ответа, расходы на зарплаты сотрудников.

Читайте также

Профессия «Профессия Data Mining Specialist»

Профгид

Плюсы и минусы профессии

Положительные стороны:

• работа в перспективной отрасли;
• есть шанс создать что-то новое в науке, практике;
• постепенно расширяющийся рынок вакансий;
• возможность работы из дома, другого города или страны;
• высокие доходы при достаточном профессиональном уровне.

Недостатком работы сами NLP-специалисты называют:

• наличие обязательных, но рутинных этапов подготовки данных;
• размытое распределение обязанностей – в разных проектах у специалистов разные обязанности;
• небольшое количество вакансий.

Важные качества

NLP-специалист должен обладать:

• способностями и к математике, и к лингвистике;
• логическим, системным мышлением;
• аналитическим складом ума;
• терпением;
• ответственностью, чувством времени;
• коммуникабельностью, стрессоустойчивостью.

Где учиться на NLP-специалиста

Стать NLP-инженером поможет высшее образование по DS и ML. В вузах на ИТ-направлениях есть профили по обработке данных и машинному обучению с возможностью выбрать во время учебы специализацию на обработке естественных языков. Чаще такие программы открывают на направлениях укрупненной группы 09.00.00 «Информатика и ВТ», несколько примеров:

1. «Информатика и вычислительная техника» 09.03.01, профили:
   • «Обработка данных и методы искусственного интеллекта»;
   • «ИИ и ML».
2. «Информационные системы и технологии» 09.03.02, профили:
   • «Анализ данных и цифровые технологии»;
   • «Интеллектуальные системы и ML».
3. «Прикладная информатика» 09.03.03, профили:
   • «ИИ в бизнес-аналитике»;
   • «Прикладная информатика в лингвистике»;
   • «Инженерия данных».

Модули по NLP есть на программах других направлений. Например, в питерском кампусе ВШЭ: изучение обработки естественного языка предусмотрено на профилях направления «Прикладная математика и информатика» 01.03.02:

• «Прикладной анализ данных и ИИ»;
• «Прикладная математика и информатика».

NLP – это модуль по выбору на последнем курсе. Но обучение по четырехлетней программе делает выпускника конкурентоспособным как в сфере обработки языка, так и в смежных ML-инженерии, разработке ПО, аналитике больших данных и пр.

Узкую специализацию на NLP можно получить в магистратуре. Например, МИСиС приглашает выпускников компьютерных и аналитических бакалаврских направлений на учебу по программе «Обработка естественного языка».

К обучению можно «зайти» с другой стороны профессии – лингвистической. В этом случае подойдут такие направления:

• «Интеллектуальные системы в гуманитарной сфере» 45.03.04 с профилями по цифровой (компьютерной) лингвистике;
• «Фундаментальная и компьютерная лингвистика» 45.03.03.

Но надо понимать, что в NLP есть четыре компонента: лингвистика, математика, программирование и статистика. Причем три последних важнее знаний о языке.

Лучшие вузы для NLP-специалиста

Традиционно сильные вузы по ИТ-подготовке:

• МФТИ;
• МГТУ им. Баумана;
• МИФИ;
• ИТМО;
• НИУ ВШЭ;
• МАИ;
• МИСиС;
• Университет Иннополис;
• МГУ;
• СПбГУ.

Признанные лидеры в области лингвистической подготовки:

• СПбГУ;
• МГУ;
• МГЛУ;
• НГЛУ им. Добролюбова;
• НИУ ВШЭ;
• РГГУ;
• РУДН;
• Политех Петра Великого (вуз технический, именно поэтому в подготовке лингвистов в Гуманитарном институте СПбПУ акцент делается на формирование компетенций в ИТ, например, на программе «Цифровые технологии и иностранные языки» 45.03.04_01).

Место работы

Профессия востребована в разных сферах бизнеса: IT, маркетинге, финансовой сфере, интернет-ретейле, телекоме, промышленности. Вакансии NLP-специалистов размещают и «Ростелеком», и «Газпром нефть», и «Сбербанк», и Ozon, и «Самокат».

Оплата труда

Уровень оплаты труда NLP-специалиста зависит от опыта работы. TechLead со стажем в обработке языка от 3 лет может рассчитывать в Москве на 250–300 тыс. руб. Уверенные джуниоры в Data Science (не сразу после онлайн-курсов) получают в среднем 60–70 тыс. Мидлам платят от 130 тыс.

Карьера

Профессиональное развитие возможно по двум направлениям:

• исследования – в этом случае специалист называется NLP Researcher, он организует работу с данными, ищет методы решения задач, создает их прототипы, занимается экспериментами. Это направление больше подходит лингвистам;
• разработка – специалисты этого профиля – NLP Research Engineer′ы, по сути, программисты. Они доводят до рабочего состояния прототипы, которые предложили исследователи, и внедряют их. Инженерам необязательно глубоко разбираться в лингвистике.

Если специалист сможет работать в двух направлениях, то быстрее достигнет уровня тех- или тимлида.

Можно сменить трек и перейти в другие направления Data Science: заняться компьютерным зрением (Computer Vision – CV) или углубиться в ML.

Что касается перспектив профессии: очевидно, что в ближайшие годы языковые модели будут бурно развиваться. Искусственный интеллект уже довольно давно меняет экономику и социальную сферу, но сейчас период мощного скачка в развитии ИИ и связанных с ним технологий, особенно языковых моделей, так что спрос на NLP-специалистов будет расти.

Профессиональные знания

База знаний NLP-специалиста:

• линейная алгебра;
• матанализ, статистика, теория вероятностей;
• алгоритмы кластеризации;
• морфология, лексикология, синтаксис, грамматика, фонетика русского языка, тематическое моделирование, дистрибутивная семантика;
• нейронные сети;
• программирование не ниже middle-уровня (обычно на Python);
• DL-модели;
• разные семейства ML-алгоритмов и их особенности;
• базы данных и запросы к ним (SQL);
• техники и алгоритмы, специфические для NLP-задач.

Кроме этого, желательно уметь обращаться с комплектом технологий Data Science, иметь опыт построения нейросетей с применением фреймворков.

Читайте также

Профессия «Профессия Big Data Analyst (аналитик больших данных)»

Профгид

Примеры компаний с вакансиями nlp-специалиста (инженера)