Английские модели: Самые красивые британские модели (Топ-10)

5 эффективных стратегий моделирования для учеников K-12, изучающих английский язык

Несмотря на огромные сдвиги в педагогической практике, вызванные переходом к онлайн-обучению, некоторые проверенные стратегии, такие как моделирование для изучающих английский язык, по-прежнему имеют решающее значение. Поскольку в наши дни учителя часто не могут вмешиваться в процесс в реальном времени, эффективное моделирование, в котором ожидания учителя в отношении успеваемости учащихся выражаются на конкретном примере, является спасательным кругом для изучающих английский язык из-за той ясности, которую они обеспечивают.

По нашему опыту наблюдения за классами K – 12, включая классы, в которых только изучающие английский язык, а также классы, в которых есть как английские, так и свободно говорящие по-английски, моделирование постоянно используется недостаточно, несмотря на то, что это простая и эффективная стратегия. Полезно помнить, что предоставление эффективных моделей в конечном итоге экономит время, поскольку одновременно дает ясные примеры ожиданий в отношении данного задания и сокращает количество слов, необходимых учителю для объяснения задачи.

5 типов эффективных моделей

Эффективное моделирование может принимать самые разные формы.Во всех случаях моделирование должно прояснить ожидания от задачи, не давая ответа, и должно оставаться доступным для учащихся на протяжении всего задания. Ниже приведены примеры эффективных моделей.

1. Заполнение первого в наборе в качестве примера: Это простейшая форма моделирования, но мы обнаружили, что она используется недостаточно. Щелкните здесь, чтобы увидеть пример. В любом упражнении, в котором учащиеся работают над несколькими примерами одного и того же типа вопроса или проблемы, полезно смоделировать один или два примера, чтобы учащиеся точно видели, что от них ожидается.

2. Предоставление четких указаний относительно ожиданий от задания с помощью визуальных моделей: Щелкните здесь, чтобы увидеть гуманитарный пример, а здесь — математический. Эти встроенные модели ясно показывают ожидания учителя от работы с наглядными изображениями вместо множества слов, не давая ответов.

3. Использование языковых фреймов в качестве моделей для разговорных движений: Предоставление фреймов предложений модели того разговора, который должен вести учащийся.EL могут более плавно участвовать в разговоре, если они могут сосредоточиться на том, что они хотят выразить, а не на том, как это выразить. Посмотрите упражнение See Think Wonder с языковыми рамками и сравните его со стандартной версией этого же упражнения.

4. Демонстрация выполнения шагов задачи с помощью видео: В этом видео-примере Меган Бердуго из Brooklyn International High School показано, как решить уравнение, показывая учащимся каждый шаг с аналогичной задачей. Учащиеся могут пересматривать его столько раз, сколько захотят, и делать паузу, где необходимо, чтобы уловить слова и идеи, которые они пропустили.

5. Разделение этапов сложного процесса и использование соответствующего шаблона для выполнения учащимися: ученики EL могут легко запутаться в моделях абзаца, эссе или решения, когда нужно проделать много слов, и это непонятно какая часть модели соответствует какой части задания. Разделение модели на более мелкие части и предоставление места рядом с каждым фрагментом позволяет учащимся сосредоточиться на одном аспекте за раз, снижая когнитивные и лингвистические нагрузки.Щелкните здесь, чтобы увидеть пример письма, и здесь, чтобы увидеть пример по математике.

Мы слышали опасения, что предоставление модели снижает сложность задания. Мы бы возразили, что, хотя демистификация ожиданий учителя действительно делает задачу менее трудной для ученика, она никоим образом не делает ее менее сложной, если модель не может быть скопирована. Фактически, отличные модели позволяют ученикам сразу перейти к сути работы, вместо того чтобы тратить драгоценную умственную энергию и время на выяснение того, что учитель просит их сделать.

Эффективное моделирование, возможно, является наиболее простым из всех строительных лесов и требует наименьшего количества настроек для отдельных учащихся. И, как и многие строительные леса, эффективное моделирование помогает всем учащимся, а не только английским. Для всех учащихся, испытывающих трудности, это обеспечивает решающий доступ, который может иметь значение между разочарованием и успехом.

векторов английского слова · fastText

На этой странице собраны несколько предварительно обученных векторов слов, обученных с помощью fastText.

Скачать предварительно обученные векторы слов

Предварительно обученные векторы слов, изученные из разных источников, можно скачать ниже:

1. вики-новости-300d-1M.vec.zip: 1 миллион векторов слов, обученных на Википедии 2017, корпусе веб-базы UMBC и наборе данных новостей statmt. org (токены 16B).
2. wiki-news-300d-1M-subword.vec.zip: 1 миллион векторов слов, обученных с помощью подсловной информации в Wikipedia 2017, корпусе веб-базы UMBC и наборе данных новостей statmt.org (токены 16B).
3. crawl-300d-2M.vec.zip: 2 миллиона векторов слов, обученных на Common Crawl (токены 600B).
4. crawl-300d-2M-subword.zip: 2 миллиона векторов слов, обученных с информацией о подсловах в Common Crawl (токены 600B).

Формат

Первая строка файла содержит количество слов в словаре и размер векторов. Каждая строка содержит слово, за которым следуют его векторы, как в текстовом формате fastText по умолчанию. Каждое значение разделяется пробелом. Слова отсортированы по убыванию частоты. Эти текстовые модели можно легко загрузить в Python, используя следующий код:

  импорт io

def load_vectors (имя_файлы):
    fin = io.open (fname, 'r', encoding = 'utf-8', newline = '\ n', errors = 'ignore')
    n, d = map (int, fin. readline (). split ())
    data = {}
    для линии в плавнике:
        токены = line.rstrip (). split ('')
        данные [токены [0]] = карта (с плавающей точкой, токены [1:])
    вернуть данные
  

Лицензия

Эти словесные векторы распространяются по лицензии Creative Commons Attribution-Share-Alike License 3.0 .

Список литературы

Если вы используете эти слова-векторы, процитируйте, пожалуйста, следующую статью:

Т. Миколов, Э. Граве, П. Бояновски, К. Пухрш, А. Жулен. Достижения в распределенных представлениях слов перед обучением

  @inproceedings {mikolov2018advances,
  title = {Достижения в распределенных представлениях слов перед обучением},
  author = {Миколов, Томаш и Граве, Эдуард и Бояновски, Петр и Пурш, Кристиан и Жулен, Арманд},
  booktitle = {Труды Международной конференции по языковым ресурсам и оценке (LREC 2018)},
  год = {2018}
}
  

756.01 — Государственное управление образования; модели структурированного погружения в английский язык, основанные на исследованиях; альтернативные модели обучения на английском языке; Изучающие английский язык; бюджетные запросы; определения

15-756.01. Государственный совет образования; модели структурированного погружения в английский язык, основанные на исследованиях; альтернативные модели обучения на английском языке; Изучающие английский язык; бюджетные запросы; определения

А.Совет по образованию штата должен принять и утвердить основанные на исследованиях модели структурированного погружения в английский язык для школьных округов и чартерных школ. Департамент образования должен обеспечить адекватную кадровую поддержку совету штата в соответствии с настоящей статьей. В моделях должны учитываться, по крайней мере, размер школы, ее расположение, уровень обучения в школе, количество изучающих английский язык и процент изучающих английский язык. Совет штата должен принять и утвердить модели, которые включают минимальный уровень развития английского языка, а именно:

1. Сто двадцать минут в день, шестьсот минут в неделю или триста шестьдесят часов в учебный год для учеников детских садов и с первого по пятый класс.

2. Сто минут в день, пятьсот минут в неделю или триста часов в учебный год для учеников с шестого по двенадцатый класс.

B. Совет по образованию штата должен принять альтернативные модели обучения английскому языку в соответствии с разделом 15-753, основанные на доказательствах и исследованиях.

C. В соответствии с разделом 15-756.02 школьные округа и чартерные школы могут представлять модели структурированного погружения в английский язык и альтернативного обучения английскому языку в совет по образованию штата для утверждения.

D. Основанные на исследованиях модели структурированного погружения в английский язык, принятые и одобренные советом по образованию штата, должны быть наиболее экономически эффективными моделями, соответствующими всем законам штата и федеральным законам.

E. Модели структурированного погружения в английский язык, основанные на исследованиях, и альтернативные модели обучения английскому должны быть ограничены обычным учебным годом и учебным днем.Обучение вне обычного учебного года или учебного дня должно быть обеспечено компенсационным обучением и может иметь право на финансирование из фонда компенсационного обучения в масштабе штата, установленного в соответствии с разделом 15-756.11.

F. Совет по образованию штата должен представить основанные на исследованиях модели структурированного погружения в английский язык и альтернативные модели обучения английскому языку президенту сената, спикеру палаты представителей и губернатору. По крайней мере, за тридцать дней до принятия или утверждения совет штата должен представить основанные на исследованиях модели структурированного погружения в английский язык и альтернативные модели обучения английскому языку на рассмотрение объединенному законодательному бюджетному комитету.

G. Совет по образованию штата должен ежегодно пересматривать основанные на исследованиях модели структурированного погружения в английский язык и альтернативные модели обучения английскому языку и удалять из них, добавлять или изменять существующие модели. При принятии, утверждении или изменении программ для изучающих английский язык, совет штата должен проверять и рассматривать информацию и данные, полученные в результате мониторинга министерством образования программ для изучающих английский язык в соответствии с разделом 15-756.08.

H. Совет штата по образованию должен установить процедуры для школьных округов и чартерных школ для определения дополнительных затрат на внедрение основанных на исследованиях моделей структурированного погружения в английский язык и альтернативных моделей преподавания английского языка, которые совет штата принимает или утверждает.

I. Государственный совет по образованию должен установить рамки для оценки моделей, предписанных в этом разделе, которые представляются на утверждение. Совет штата должен запросить мнение опытных преподавателей.Структура должна гарантировать, что принятые или утвержденные модели соответствуют всем следующим критериям:

1. Обеспечивать последовательное обучение в соответствии со стандартами владения английским языком этого штата.

2. Включите обучение устной и письменной речи, включая структурированные возможности для развития устных и письменных навыков и стратегий понимания.

3. Обеспечьте доступ к сложному языковому контенту через учебники для уровня своего класса с соответствующей поддержкой.

4. Включите стратегии взаимодействия с родителями.

J. Совет по образованию штата должен разработать форму для школьных округов и чартерных школ, чтобы определить сумму заявки на структурированное погружение в английский язык и альтернативное обучение английскому языку. Невзирая на любой другой закон, максимальная сумма бюджетного запроса должна быть равна дополнительным расходам выбранной модели, компенсируемым частью денежных средств за десегрегацию, взимаемых в соответствии с разделом 15-910, определяемой контингентом изучающих английский язык как процент от квалифицированного населения и груз опорного уровня ELL, предписанный в разделе 15-943.

K. Разница, рассчитанная в соответствии с подразделом J этого раздела, должна быть максимальной суммой запроса бюджета на структурированное погружение в английский и альтернативное обучение английскому языку в соответствии с разделом 15-756.03 для денежных средств из фонда для изучающих английский язык штата Аризона, установленного разделом 15-756.04. .

L. По согласованию с генеральным аудитором департамент образования должен разработать и принять формы, которые будут использоваться школьными округами и чартерными школами для подачи бюджетных запросов в фонд для изучающих английский язык штата Аризона, включая форму, указанную в подразделе J этого раздела. .

M. Этот раздел не запрещает ученику, который определен как изучающий английский язык, одновременно участвовать в структурированной модели погружения в английский язык и альтернативной модели обучения английскому языку.

N. Для целей данного раздела:

1. «Компенсационная инструкция» имеет то же значение, что и в разделе 15-756.11.

2. «Дополнительные затраты» означают затраты, связанные со структурированной программой погружения в английский язык в соответствии с разделом 15-752 или альтернативной программой обучения английскому языку в соответствии с разделом 15-753, и которые добавляются к обычным затратам на проведение программ изучения английского языка. опытные студенты.Дополнительные затраты не включают затраты, которые заменяют те же виды услуг, предоставляемых студентам, владеющим английским языком, или компенсирующее обучение.

Предварительно обученные модели — трансформаторы 4.11.3 документация

Пакеты биомедицинских и клинических английских моделей для библиотеки Stanza Python NLP | Журнал Американской ассоциации медицинской информатики

Аннотация

Цель

Исследование было направлено на разработку и оценку пакетов нейронной обработки естественного языка (НЛП) для синтаксического анализа и распознавания именованных сущностей в биомедицинских и клинических текстах на английском языке.

Материалы и методы

Мы реализуем и обучаем конвейеры НЛП для биомедицинского и клинического английского языка, расширяя широко используемую библиотеку Stanza, изначально разработанную для общих задач НЛП. Наши модели обучаются с использованием набора общедоступных наборов данных, таких как банк дерева CRAFT, а также с помощью частного корпуса радиологических отчетов, аннотированных 5 объектами радиологической области. Результирующие конвейеры полностью основаны на нейронных сетях и могут выполнять токенизацию, тегирование части речи, лемматизацию, синтаксический анализ зависимостей и распознавание именованных сущностей как для биомедицинского, так и для клинического текста.Мы сравниваем наши системы с популярными библиотеками НЛП с открытым исходным кодом, такими как CoreNLP и scispaCy, современными моделями, такими как модели BioBERT, и системами-победителями из общей задачи BioNLP CRAFT.

Результаты

Что касается синтаксического анализа, наши системы достигают гораздо более высокой производительности по сравнению с выпущенными моделями scispaCy и моделями CoreNLP, переобученными на тех же деревьях, и находятся на одном уровне с системой-победителем из общей задачи CRAFT. Что касается NER, наши системы значительно превосходят scispaCy и лучше или находятся на одном уровне с современными характеристиками от BioBERT, но при этом гораздо более эффективны с точки зрения вычислений.

Выводы

Мы представляем биомедицинские и клинические пакеты НЛП, созданные для библиотеки Stanza. Эти пакеты предлагают производительность, аналогичную современным технологиям, а также оптимизированы для простоты использования. Чтобы облегчить исследование, мы делаем все наши модели общедоступными. Мы также предоставляем онлайн-демонстрацию (http://stanza.run/bio).

ВВЕДЕНИЕ

Большая часть биомедицинских знаний и клинической коммуникации закодирована в биомедицинской литературе с произвольным текстом или в клинических заметках. ^{1 , 2} Сообщества биомедицинской и клинической обработки естественного языка (НЛП) приложили значительные усилия для раскрытия этих знаний, создав системы, способные извлекать информацию, ^{3 , 4} ответы на вопросы , ^{5 , 6} или понять разговоры ⁷ из биомедицинских и клинических текстов.

Наборы инструментов НЛП, которые способны понимать лингвистическую структуру биомедицинского и клинического текста и извлекать из нее информацию, часто используются в качестве первого шага при построении таких систем. ^{8 , 9} Существующие универсальные наборы инструментов НЛП оптимизированы для обеспечения высокой производительности и простоты использования, но их нелегко адаптировать к биомедицинской области с современными характеристиками. Например, библиотека Stanford CoreNLP ¹⁰ и библиотека spaCy (https://spacy.io/), несмотря на то, что они широко используются сообществом НЛП, не предоставляют настраиваемые модели для обработки биомедицинских языков. Недавний набор инструментов scispaCy ¹¹ расширяет охват spaCy на биомедицинскую область, но при этом не обеспечивает ультрасовременную производительность синтаксического анализа или задач распознавания сущностей, а также не предлагает моделей, адаптированных для обработки клинических текстов.

В дополнение к инструментам НЛП общего назначения доступны несколько наборов инструментов НЛП, специализирующихся на обработке биомедицинских или клинических текстов. Например, cTAKES (система клинического анализа текста и извлечения знаний) клиники Mayo предоставляет распознаватель именованных сущностей на основе словаря для поиска терминов Метатезавр ¹² Универсальной системы медицинского языка в тексте в дополнение к другим функциям НЛП, таким как токенизация, часть тегов речи и синтаксического анализа. ¹³ Другие аналогичные пакеты включают библиотеку извлечения текста информации о здоровье (HITEx), ¹⁴ набор инструментов MetaMap, ¹⁵ и набор клинических инструментов НЛП CLAMP. ¹⁶ Эти пакеты часто объединяют сложные специфические для предметной области функции, созданные экспертами, но они не могут интегрировать современные модели на основе глубокого обучения, которые обеспечивают гораздо более точную производительность, чем традиционные методы на основе правил или машинного обучения. Более того, поскольку Python становится общепринятым языком в сообществе специалистов по биомедицинским данным, ¹⁷ , отсутствие встроенной поддержки Python значительно ограничивает возможности пользователей использовать эти наборы инструментов и интегрировать их с современными вычислительными библиотеками, такими как библиотеки глубокого обучения.

Недавно представленная библиотека NLP Stanza ¹⁸ предлагает современный синтаксический анализ и функциональность NER с встроенной поддержкой Python. Его полностью нейронный конвейер позволяет расширить возможности языковой обработки в биомедицинской и клинической областях. В этом исследовании мы представляем пакеты биомедицинских и клинических английских моделей для библиотеки Stanza (рисунок 1). Эти пакеты построены на основе нейронной системы Stanza и предлагают поддержку синтаксического анализа для биомедицинского и клинического текста, включая токенизацию, лемматизацию, тегирование частей речи (POS) и синтаксический анализ зависимостей, на основе Universal Dependencies v2 (UDv2) формализм, ¹⁹ и возможности высокоточного распознавания именованных сущностей (NER), охватывающие широкий спектр областей.

Рисунок 1.

Обзор пакетов биомедицинских и клинических английских моделей в библиотеке Stanza NLP. Для синтаксического анализа показан пример вывода биомедицинского конвейера КРАФТ; для распознавания именованных объектов показан пример результатов клинической модели i2b2.

Рисунок 1.

Обзор пакетов биомедицинских и клинических английских моделей в библиотеке Stanza NLP. Для синтаксического анализа показан пример вывода биомедицинского конвейера КРАФТ; для распознавания именованных объектов показан пример результатов клинической модели i2b2.

Эти пакеты включают 2 UD-совместимых конвейера биомедицинского синтаксического анализа, обученных на общедоступных банках деревьев CRAFT ²⁰ и GENIA ⁸ соответственно; UD-совместимый конвейер клинического синтаксического анализа, обученный с помощью древовидного банка серебряного стандарта, созданного из клинических заметок в базе данных ²¹ MIMIC-III (Медицинский информационный магазин для интенсивной терапии-III); 8 точных биомедицинских моделей NER, дополненных контекстуальными представлениями, обеспечивающими практически ультрасовременную производительность; и 2 клинические модели NER, включая недавно введенную модель, специализирующуюся на распознавании объектов в отчетах клинической радиологии.

Мы показали с помощью множества экспериментов, что эти пакеты достигают производительности, которая соответствует или превосходит самые современные результаты. Далее мы показываем на примерах и тестировании, что эти пакеты просты в использовании и не снижают скорость, особенно когда доступно ускорение графического процессора. Мы надеемся, что наши пакеты облегчат будущие исследования для анализа и понимания биомедицинских и клинических текстов.

МАТЕРИАЛЫ И МЕТОДЫ

Модули и реализации синтаксического анализа

Stanza состоит из модулей для токенизации, сегментации предложений, тегов POS, лемматизации и синтаксического анализа зависимостей.Все модули реализованы в виде нейросетевых моделей. Мы кратко представляем каждый компонент по очереди и отсылаем читателей к системному документу Stanza ¹⁸ за подробностями.

Токенизация и разделение предложений

Первым шагом анализа текста обычно является токенизация и сегментация предложения. В Stanza эти две задачи совместно моделируются как проблема маркировки последовательностей символов, в которой модель предсказывает, является ли данный символ концом токена, предложения или ни одним из них.Эта совместная задача реализована с помощью облегченной рекуррентной нейронной сети. Мы решили объединить эти задачи, потому что они обычно зависят от контекста и могут извлечь выгоду из совместного вывода, чтобы уменьшить двусмысленность.

POS-теги

После токенизации текста Станца предсказывает теги POS для каждого слова в каждом предложении.

Мы принимаем двунаправленную сеть долговременной краткосрочной памяти (BiLSTM) в качестве базовой архитектуры для прогнозирования как языковых тегов POS (XPOS), так и универсальных тегов POS (UPOS).

Мы дополнительно адаптируем биаффинный механизм оценки нейронного синтаксического анализатора ²² для согласования предсказания XPOS с предсказанием UPOS, что улучшает согласованность предсказаний между тегами XPOS и UPOS. ²³

Лемматизация

Во многих практических последующих приложениях полезно восстанавливать каноническую форму слова путем его лемматизации (например, восстанавливая форму леммы до из слова до ) для лучшего сопоставления с образцом.Лемматизатор строфы реализован как ансамбль из словарного лемматизатора и нейронного лемматизатора последовательности, которые работают с последовательностями символов. Дополнительный классификатор построен на выходе кодировщика модели seq2seq для прогнозирования сокращенных операций , таких как нижний регистр входного слова или использование точной копии входного слова в качестве леммы. Эти сокращенные операции повышают устойчивость нейронного лемматизатора к длинным входным последовательностям символов, таким как URL-адреса, за счет исключения ненужной генерации очень длинных последовательностей.

Анализ зависимостей

Чтобы проанализировать синтаксическую структуру каждого предложения, Станца разбирает его в формате UD, ¹⁹ , в котором каждому слову в предложении назначается синтаксический заголовок, который является либо другим словом в предложении, либо в случае корневого слова. , искусственный корень символа . Синтаксический анализатор зависимостей в Stanza является вариантом основанного на BiLSTM анализатора глубоких биаффинных нейронных зависимостей ²² , который Ци и др. ²³ модифицировали для повышения точности.

Система биомедицинского синтаксического анализа

Мы предоставляем 2 отдельных конвейера синтаксического анализа для биомедицинского текста, обучая нейросинтаксический конвейер Stanza на 2 общедоступных биомедицинских банках деревьев: CRAFT treebank ²⁰ и treebank GENIA. ^{8 , 24} Два берега дерева различаются двумя основными способами. Во-первых, в то время как GENIA собирается из рефератов PubMed, касающихся «человека», «клеток крови» и «факторов транскрипции», CRAFT собирается из полнотекстовых статей, связанных с базой данных Mouse Genome Informatics.Во-вторых, в то время как банк деревьев CRAFT по отдельности маркирует сегменты слов с переносом через дефис (например, повышающее значение , токенизируется в положение , положение ), банк деревьев GENIA обрабатывает слова с переносом как отдельные токены.

Поскольку оба древовидных банка предоставляют только аннотации Penn Treebank в своих исходных выпусках, для обучения нашего нейронного конвейера мы сначала конвертируем их оба в аннотации формата UDv2 ¹⁹ , используя конвертер UD ²⁵ в библиотеке Stanford CoreNLP. ¹⁰ Для облегчения будущих исследований мы сделали преобразованные файлы общедоступными (https://nlp.stanford.edu/projects/stanza/bio/).

Комбинация берегов дерева

Поскольку токенизация в банке деревьев CRAFT полностью совместима с токенизацией в общих английских банках деревьев UD, на практике мы сочли полезным объединить английский Web Treebank (EWT) ²⁶ с банком деревьев CRAFT для обучения конвейера синтаксического анализа CRAFT. Позже мы покажем с помощью экспериментов, что эта комбинация древовидных структур улучшает устойчивость конечного конвейера как к общему, так и к тексту внутри домена.

Конвейер клинического синтаксического анализа

В отличие от биомедицинской области, никаких больших аннотированных древовидных списков для клинического текста нет в открытом доступе.

Таким образом, чтобы построить конвейер синтаксического анализа, который хорошо обобщается в клинической области, мы создали древовидный банк серебряного стандарта, используя общедоступные клинические заметки в базе данных MIMIC-III. ²¹ Создание этого банка деревьев основано на 2 основных наблюдениях, сделанных посредством качественного анализа выборок клинических записей из базы данных MIMIC-III.Во-первых, мы обнаруживаем, что нейронно-синтаксический анализатор Stanza, обученный на общих английских древовидных структурах, достаточно хорошо обобщает хорошо отформатированный текст в клинической области. Во-вторых, высокооптимизированный токенизатор на основе правил в библиотеке Stanford CoreNLP обеспечивает более точную и последовательную разметку и сегментацию предложений в клиническом тексте, чем нейронный токенизатор в Stanza, обученный на одном банке деревьев. Например, в то время как нейронный токенизатор, обученный на общем английском древовидном банке, имеет тенденцию производить несогласованные сегментации предложений при наличии последовательных знаков препинания или пробелов в предложении, токенизатор CoreNLP обрабатывает эти случаи гораздо более последовательным и точным образом.

На основе этих наблюдений мы создаем банк дерева MIMIC серебряного стандарта с помощью следующей процедуры. Во-первых, мы произвольно выбираем 800 клинических заметок всех типов из базы данных MIMIC-III и стратифицируем записи по разделам для обучения / разработки / тестирования с клиническими записями 600/100/100 соответственно. Эти числа выбраны для создания банка деревьев такого же размера, что и общий английский банк деревьев EWT. Во-вторых, мы токенизируем и сегментируем выбранные ноты с помощью токенизатора CoreNLP по умолчанию. В-третьих, мы предварительно обучаем конвейер синтаксического анализа общего английского языка Stanza на банке дерева EWT, затем запускаем его на предварительно токенизированных примечаниях и создаем синтаксические аннотации в соответствии с форматом UDv2.В-четвертых, для повышения устойчивости результирующих моделей, обученных на этом банке деревьев, аналогично конвейеру CRAFT, мы объединяем обучающее разделение исходного банка деревьев EWT с этим серебряным стандартом банка деревьев MIMIC. Позже мы покажем с помощью экспериментов, что эта комбинация древовидных банков снова повышает устойчивость конечного конвейера к задачам синтаксического анализа. Диаграмма, иллюстрирующая всю процедуру обучения, показана на рисунке 2.

Рисунок 2.

Схема обучения моделей клинического синтаксического анализа Stanza MIMIC.Образцы клинических заметок MIMIC-III (Medical Information Mart for Intensive Care-III) сначала токенизируются и сегментируются на предложения с помощью токенизатора CoreNLP, а затем синтаксически аннотируются с предварительно обученными синтаксическими моделями общеанглийского языка Stanza. Затем производный банк деревьев серебряного стандарта объединяется с исходным банком деревьев английского Web Treebank (EWT) и используется для обучения клинических синтаксических моделей Stanza.

Рисунок 2.

Схема обучения моделей клинического синтаксического анализа Stanza MIMIC.Образцы клинических заметок MIMIC-III (Medical Information Mart for Intensive Care-III) сначала токенизируются и сегментируются на предложения с помощью токенизатора CoreNLP, а затем синтаксически аннотируются с предварительно обученными синтаксическими моделями общеанглийского языка Stanza. Затем производный банк деревьев серебряного стандарта объединяется с исходным банком деревьев английского Web Treebank (EWT) и используется для обучения клинических синтаксических моделей Stanza.

NER модели

Stanza принимает архитектуру контекстного тегировщика последовательности на основе строкового представления. ²⁷ Для каждого домена мы обучаем прямую и обратную LSTM-символьную языковую модель (CharLM), чтобы дополнить представление слова в каждом предложении. Во время тегирования мы объединяем представления из этих CharLM в каждой позиции слова с встраиванием слова и передаем результат в стандартный одноуровневый теггер последовательности BiLSTM с условным случайным декодером на основе полей. Предварительно обученные CharLM предоставляют богатые предметно-ориентированные представления, которые заметно повышают точность моделей NER.

Биомедицинские модели NER

Для биомедицинской области мы предлагаем 8 индивидуальных моделей NER, обученных на 8 общедоступных наборах биомедицинских данных NER: AnatEM, ²⁸ BC5CDR, ²⁹ BC4CHEMD, ³⁰ BioNLP13CG, ³¹ JNLPBA, ^{32 920} NCBI-Disease, ³⁴ и S800. ³⁵ Эти модели охватывают широкий спектр типов сущностей в различных областях, от анатомического анализа до генетики и клеточной биологии.Для обучения мы используем предварительно обработанные версии этих наборов данных, предоставленные Wang et al. ³⁶

Клинические модели NER

Наша клиническая система NER содержит 2 индивидуально обученные модели. Во-первых, мы предоставляем универсальную модель NER, обученную на наборе данных i2b2 / VA 2010 ³⁷ , которая извлекает сущности проблемы, тестирования и лечения из различных типов клинических заметок. Во-вторых, мы также предлагаем новую радиологическую модель NER, которая извлекает 5 типов объектов из радиологических отчетов: анатомия , наблюдение , модификатор анатомии , модификатор наблюдения и неопределенность .Набор обучающих данных этой модели NER состоит из 150 отчетов о рентгенологических исследованиях компьютерной томографии грудной клетки, собранных в 3 отдельных больницах. ³⁸ Два радиолога были обучены аннотировать отчеты с 5 типами сущностей с расчетным соглашением между каппа-мераннотатором Коэна 0,75. Для получения полной информации о типах сущностей и корпусах, используемых в этом наборе данных, мы отсылаем читателей к Хассанпуру и Ланглотцу. ³⁸

Для всех биомедицинских и клинических наборов данных NER, используемых в нашем исследовании, мы предоставляем подробное описание поддерживаемых ими типов сущностей и их статистику в дополнительном приложении B.

Учебный корпус CharLM

Для биомедицинских моделей NER мы предварительно обучаем как прямые, так и обратные CharLM на общедоступных рефератах PubMed. Для вычислительной эффективности мы выбрали около половины дампа PubMed Baseline 2020 года (ftp://ftp.ncbi.nlm.nih.gov/pubmed/baseline) в качестве нашего обучающего корпуса, который включает около 2,1 миллиарда токенов. Для клинических моделей NER мы предварительно обучаем CharLM на всех типах клинических заметок MIMIC-III ²¹ .Во время предварительной обработки этих заметок мы исключаем предложения, в которых применяется как минимум 1 маска анонимности (например, [** First Name8 (NamePattern2) **] ), чтобы такие маски не загрязняли представления, полученные CharLMs. Окончательный корпус для обучения клинических CharLM включает около 0,4 миллиарда токенов.

РЕЗУЛЬТАТЫ

Производительность синтаксического анализа

Мы сравниваем производительность синтаксического анализа Stanza в основном с CoreNLP и scispaCy и представляем результаты в таблице 1.Мы сосредоточены на оценке сквозной производительности всех наборов инструментов, начиная с необработанного текста. В этой настройке оценки система принимает необработанный текст в качестве входных данных, и каждый модуль делает прогнозы, принимая выходные данные из своих предыдущих модулей. Эта настройка более сложна, чем использование текста с золотыми маркерами и других аннотаций в качестве входных данных для последующих модулей, которые использовались во многих предыдущих оценках. Для количественной оценки синтаксического конвейера мы принимаем официальные метрики оценки, используемые в общей задаче CoNLL 2018 Universal Dependencies Shared Task.Мы включаем подробные описания наших показателей в дополнительное приложение A и отсылаем читателей к официальному сайту общих задач для более подробного ознакомления с ними (https://universaldependencies.org/conll18/evaluation.html).

Производительность конвейера нейросинтаксического анализа

Для справедливого сравнения, как для CoreNLP, так и для scispaCy, мы представляем их результаты путем переподготовки соответствующих скриптов на официальном дереве конвейеров с использованием их конвейеров. .Результаты scispaCy получены путем переобучения моделей scispacy-large . Для MIMIC treebank мы не включаем сравнение с scispaCy, главным образом потому, что мы наблюдали сильно ухудшенную производительность при применении его к разметке и сегментации предложений клинических заметок.

Примечательно, что мы обнаружили, что нейронный конвейер Stanza хорошо обобщается на все группы деревьев, на которых мы оцениваем, и достигает наилучших результатов для всех компонентов на всех деревьях.

POS и парсинг с вводом золота

Гораздо более низкая производительность токенизации scispaCy на древовидном банке CRAFT связана с другими принятыми правилами токенизации: токенизатор в scispaCy изначально разработан для древовидного банка GENIA и поэтому сегментирует слова с переносом иначе, чем аннотации древовидного банка CRAFT (см. Биомедицинский конвейер), что приводит к более низкая производительность токенизации.Чтобы понять основную производительность синтаксического анализа без этой разницы в токенизации, мы запускаем индивидуальную оценку в банке дерева CRAFT с результатами золотой токенизации, предоставляемыми устройству тегов и синтаксическому анализатору POS во время тестирования. Мы обнаружили, что при этой настройке золотой токенизации Stanza может достичь 98,40 балла XPOS F ₁ и 92,10 балла с маркировкой парсинга (LAS), в то время как CoreNLP достигает 97,67 и 86,17, а scispaCy - 97,85 и 87,52 для XPOS и парсинг LAS соответственно.Таким образом, даже с вводом золотой токенизации (и золотыми POS-тегами для парсера) нейронный конвейер Stanza по-прежнему приводит к существенно лучшей производительности как для POS-тегов, так и для анализа UD, с заметным приростом 5,93 и 4,58 LAS по сравнению с CoreNLP и scispaCy, соответственно. . Наши результаты согласуются с предыдущими наблюдениями о том, что нейронная биаффинная архитектура превосходит другие модели в задачах биомедицинского синтаксического анализа. ³⁹

Сравнение с общими задачами КРАФТ 2019 системы

Далее мы сравниваем наши результаты сквозного синтаксического анализа с современной системой в CRAFT Shared Tasks 2019, ⁹ , для которой CRAFT также используется в качестве банка дерева оценок.Для всех систем мы также сообщаем результаты для официальных показателей LAS с учетом морфологии (MLAS) и оценки двулексических зависимостей (BLEX), которые, помимо прогнозов зависимостей, также учитывают теги POS и выходные данные лемм.

При этой настройке мы обнаруживаем, что базовая система CRAFT 2019 с совместными задачами, которая использует комбинацию токенизатора NLTK ⁴⁰ и нейронного анализатора SyntaxNet ⁴¹ , переобученного с помощью банка дерева CRAFT, достигает ограниченной производительности с LAS = 56.68 и MLAS = 44,22 (нет баллов BLEX из-за отсутствия выходных данных леммы), в то время как наш синтаксический конвейер, обученный на наборе данных CRAFT, обеспечивает гораздо лучшую производительность: LAS = 89,67, MLAS = 86,06 и BLEX = 86,47. Для сравнения: система ⁴² для выполнения общих задач сообщает об аналогичной производительности с LAS = 89,70, MLAS = 85,55 и BLEX = 86,63. Мы отмечаем, что результаты нашей системы нельзя напрямую сравнивать с результатами совместной задачи из-за различных используемых формализмов анализа зависимостей (т.е., хотя мы используем деревья синтаксического анализа UDv2, общая задача использовала формализм синтаксического анализа, аналогичный более раннему формализму Stanford Dependencies). Тем не менее, эти результаты показывают, что точность нашего конвейера находится на одном уровне с точностью системы победителя общих задач CRAFT 2019 и существенно превосходит базовую систему общих задач.

Эффекты от использования комбинированных берегов

Чтобы оценить эффект от использования комбинированных банков деревьев, мы обучаем конвейер биомедицинского и клинического синтаксического анализа Stanza на каждом отдельном банке деревьев, а также на комбинированных банках деревьев и оцениваем их эффективность на тестовом наборе каждого отдельного банка деревьев.Мы представляем результаты в Таблице 2. Мы обнаружили, что путем комбинирования биомедицинских или клинических древовидных банков с общим английским древовидным банком EWT, полученная модель не только способна сохранить свою высокую производительность при обработке текста общей предметной области, но также достигает несколько лучших результатов в производительность домена по сравнению с использованием только биомедицинских и клинических банков деревьев. Например, в то время как конвейер, обученный только на банке деревьев EWT, может достичь только 68,99 балла LAS на тестовом наборе CRAFT, конвейер, обученный на объединенном наборе данных, получает общий лучший балл LAS 89.57 на испытательном наборе CRAFT, с падением только LAS на 1,2 на испытательном наборе EWT. Эти результаты предполагают, что по сравнению с использованием только внутреннего банка дерева, использование комбинированного банка дерева повышает надежность конвейера Stanza как для внутреннего, так и для обычного английского текста.

Сравнения использования комбинированных банков деревьев и отдельных банков деревьев для конвейеров биомедицинского и клинического синтаксического анализа