Дайджест ключевых анонсов
AWS re:Invent 2022 проходил с 28 ноября 2022 г. по 2 декабря 2022 г. Осталось только переварить это. Мы видим много объявлений об AI/ML/Data, но почему-то со стороны Kubernetes не так много новых вещей.
AI
Новинка — обработка PDF-файлов, документов Word и изображений с помощью Amazon Comprehend для IDP
Эта функция позволяет классифицировать и извлекать объекты из документов PDF, файлов Microsoft Word и изображений непосредственно из Amazon Comprehend без необходимости извлечения текст первый. Кажется, делает OCR, если документы сканируются.
Новинка в Amazon SageMaker — выполнение теневых тестов для сравнения производительности логических выводов между вариантами моделей машинного обучения
Развертывание модели в теневом режиме позволяет проводить более целостное тестирование путем направления копии активных запросов на логические выводы для рабочей модели в новая (теневая) модель.
Блокноты нового поколения SageMaker — теперь со встроенными функциями подготовки данных, совместной работы в реальном времени и автоматизации блокнотов
Теперь вы можете улучшить качество данных за считанные минуты с помощью встроенной функции подготовки данных, редактируя одни и те же блокноты с команды в режиме реального времени и автоматически преобразовывать код блокнота в рабочие задания.
Новинка — совместное использование моделей машинного обучения и записных книжек внутри вашей организации с помощью Amazon SageMaker JumpStart
Легко делитесь своими моделями и записными книжками для совместной работы и повышения производительности или для запуска своих моделей в производство с помощью SageMaker JumpStart, машинного обучения ( ML), который обеспечивает доступ к встроенным алгоритмам с предварительно обученными моделями из популярных концентраторов моделей.
Новая программа поддержки преподавателей Университета машинного обучения AWS для создания разнообразных талантов для работы в области машинного обучения/ИИ
Новая программа предлагает круглогодичное планирование уроков, учебные пособия и доступ к бесплатным вычислительным ресурсам.
Новинка — поддержка пакетного вывода в реальном времени в Amazon SageMaker Data Wrangler
Эта функция позволяет повторно использовать поток преобразования данных, созданный в SageMaker Data Wrangler, в качестве шага в конвейерах вывода Amazon SageMaker.
Новинка — Amazon SageMaker Data Wrangler поддерживает приложения SaaS в качестве источников данных
Благодаря этой функции вы можете использовать более 40 приложений SaaS в качестве источников данных через Amazon AppFlow, службу интеграции SaaS, и иметь данные, доступные на Amazon. Обработчик данных SageMaker.
Новые инструменты управления машинным обучением для Amazon SageMaker — упростите контроль доступа и повысьте прозрачность ваших проектов машинного обучения
Новые инструменты позволяют за считанные минуты определять настраиваемые разрешения для пользователей SageMaker (Amazon SageMaker Role Manager), документировать информацию о модели от концепции до развертывания (Карты моделей Amazon SageMaker) и отслеживать все развернутые модели с помощью единой панели мониторинга (Панель моделей Amazon SageMaker).
Предварительная версия: использование Amazon SageMaker для создания, обучения и развертывания моделей машинного обучения с использованием геопространственных данных
Этот набор функций предлагает предварительно обученные модели глубоких нейронных сетей (DNN) и геопространственные операторы (геопространственные библиотеки с открытым исходным кодом, такие как NumPy, GDAL, GeoPandas и Rasterio), которые упрощают доступ и подготовку больших наборов геопространственных данных.
Новинка — переработанный пользовательский интерфейс для Amazon SageMaker Studio
Переработанный пользовательский интерфейс упрощает поиск и начало работы с инструментами машинного обучения в SageMaker Studio.
Классификация и извлечение данных об ипотечных кредитах с помощью Amazon Textract
Новый API был создан в ответ на запросы основных кредиторов в отрасли, чтобы помочь им быстрее обрабатывать заявки и уменьшить количество ошибок, что улучшает качество обслуживания конечных клиентов и снижает операционные затраты. расходы.
Amazon CodeWhisperer добавляет корпоративный административный контроль, простую регистрацию и поддержку новых языков (предварительная версия)
Администраторы теперь могут легко интегрировать CodeWhisperer со своими существующими решениями для идентификации сотрудников, предоставлять доступ пользователям и группам и настраивать организационную структуру. широкие настройки. Amazon CodeWhisperer — это сервис на основе машинного обучения (ML), который помогает повысить производительность разработчиков, создавая рекомендации по коду на основе их комментариев на естественном языке и кода в интегрированной среде разработки (IDE).
Аналитика
Новинка в Amazon Redshift — упростите прием данных и сделайте свое хранилище данных более безопасным и надежным
В этом году на конференции re:Invent Amazon Redshift объявил о ряде функций, которые помогут вам упростить прием данных и легко получить ценную информацию. быстро, в безопасной и надежной среде, включая автоматическое копирование из Amazon S3, интеграцию Amazon Aurora с нулевым ETL с Amazon Redshift, развертывание в нескольких зонах доступности.
Объявляем о дополнительных коннекторах данных для Amazon AppFlow
Мы добавили 22 новых коннектора данных для Amazon AppFlow, включая коннекторы для маркетинга, обслуживания и взаимодействия с клиентами, а также бизнес-операций.
Присоединяйтесь к предварительному просмотру — AWS Glue Data Quality
AWS Glue Data Quality может анализировать ваши таблицы и автоматически рекомендовать набор правил на основе найденных данных.
Новинка — Amazon Athena для Apache Spark
Благодаря этой функции мы можем запускать рабочие нагрузки Apache Spark, использовать Jupyter Notebook в качестве интерфейса для обработки данных в Athena и программно взаимодействовать с приложениями Spark с помощью API-интерфейсов Athena.
Athena Spark использует каталог данных AWS Glue, однако вычислительная инфраструктура предоставляется Amazon Athena. Рекомендует ли Amazon теперь Amazon Athena для Apache Spark вместо Glue Spark?
Новинка — объявляем об автоматической подготовке данных для Amazon QuickSight Q
Автоматическая подготовка данных использует машинное обучение для получения семантической информации о данных и добавления ее в наборы данных в качестве метаданных о столбцах (полях), что ускоряет подготовку данных. для поддержки вопросов на естественном языке.
Новинка для Amazon Redshift — общедоступность потоковой загрузки для Kinesis Data Streams и управляемой потоковой передачи для Apache Kafka
Благодаря этой новой возможности Amazon Redshift изначально может принимать сотни мегабайт данных в секунду из Amazon Kinesis Data Streams и Amazon. MSK в материализованное представление Amazon Redshift и запрашивайте его за считанные секунды.
Предварительная версия: Amazon Security Lake — специально созданный клиентский сервис озера данных
Этот новый сервис автоматически централизует данные безопасности вашей организации из облачных и локальных источников в специально созданное озеро данных, хранящееся в вашей учетной записи.
Новинка — интеграция Amazon Redshift с Apache Spark
Этот новый выпуск упрощает создание и запуск приложений Spark в Amazon Redshift и Redshift Serverless, позволяя клиентам открыть хранилище данных для более широкого набора аналитики и машин AWS. обучающие (МО) решения.
Предварительная версия: Amazon OpenSearch Serverless — запуск рабочих нагрузок поиска и аналитики без управления кластерами
В этом новом выпуске выделяются и масштабируются ресурсы для обеспечения быстрого приема данных и ответов на запросы даже для самых ресурсоемких и непредсказуемых рабочих нагрузок, что устраняет необходимость в настройке и оптимизировать кластеры.
Amazon DataZone (предварительная версия): с помощью DataZone пользователи могут безопасно каталогизировать, находить, совместно использовать и управлять данными в своей организации. Redshift, Athena и QuickSight будут интегрированы с ним для анализа данных.
Новинка — создавайте и делитесь операционными отчетами в любом масштабе с помощью отчетов Amazon QuickSight с разбивкой на страницы
Эта функция позволяет клиентам создавать персонализированные отчеты с высокой степенью форматирования, содержащие важные для бизнеса данные, и делиться ими с сотнями тысяч конечных пользователей — без какой-либо инфраструктуры. установка или обслуживание, предварительное лицензирование или долгосрочные обязательства.
Новые возможности API Amazon QuickSight для ускорения трансформации бизнес-аналитики
Новые возможности API QuickSight позволяют программно создавать информационные панели, анализ и шаблоны и управлять ими.
Новый AWS Glue 4.0 — новые и обновленные механизмы, дополнительные форматы данных и многое другое
Эта версия Glue включает Python 3.10 и Apache Spark 3.3.0, а также встроенную поддержку подключаемого модуля Cloud Shuffle Service для Spark. Он также включает поддержку Pandas и многое другое.
Объявление об AWS Glue для Ray (предварительная версия)
Специалисты по обработке данных могут использовать AWS Glue для Ray для обработки больших наборов данных с помощью Python и популярных библиотек Python.
Новинка в Amazon Transcribe — аналитика в реальном времени во время разговоров в режиме реального времени
Аналитика звонков в реальном времени предоставляет разработчикам API-интерфейсы для точной расшифровки звонков в реальном времени и в то же время в режиме реального времени выявляет проблемы с обслуживанием клиентов и настроения.
Обмен данными
Эта функция позволяет подписчикам данных получать доступ к сторонним файлам данных непосредственно из корзин Amazon Simple Storage Service (Amazon S3) поставщиков данных.
Эта функция позволяет клиенту, который в настоящее время использует Snowflake, хранить аналитические данные, чтобы предлагать эти данные клиентам, использующим Amazon Redshift, через AWS Data Exchange.
Данные
База данных
Новинка — Trusted Language Extensions для PostgreSQL в Amazon Aurora и Amazon RDS
Trusted Language Extensions для PostgreSQL предоставляет администраторам баз данных контроль над тем, кто может устанавливать расширения, и модель разрешений для их запуска, позволяя разработчикам приложений предоставлять новые функции, как только они определяют расширение, отвечающее их потребностям.
Репозиторий с открытым исходным кодом содержит образцы для SQL, PL/pgSQL, JavaScript, Perl.
Объявление об эластичных кластерах Amazon DocumentDB
Эластичные кластеры упрощают взаимодействие клиентов с Amazon DocumentDB за счет автоматического управления базовой инфраструктурой и избавления от необходимости создавать, удалять, обновлять или масштабировать экземпляры.
Новинка — оптимизированные операции чтения и записи Amazon RDS
Эти две новые функции ускорят рабочие нагрузки Amazon RDS для MySQL.
Новинка — полностью управляемые сине-зеленые развертывания в Amazon Aurora и Amazon RDS
Эта новая функция для Amazon Aurora с совместимостью с MySQL, Amazon RDS для MySQL и Amazon RDS для MariaDB позволяет сделать обновления баз данных более безопасными и простыми. , и быстрее. Всего за минуту вы можете преобразовать промежуточную среду в новую производственную среду без потери данных. Во время переключения Blue/Green Deployments блокирует запись в синей и зеленой средах, так что зеленая догоняет синюю, гарантируя отсутствие потери данных. Затем Blue/Green Deployments перенаправляет производственный трафик в недавно продвинутую промежуточную среду без каких-либо изменений кода вашего приложения.
Хранилище
Новинка — элементы управления отказоустойчивостью для многорегиональных точек доступа Amazon S3
Эти элементы управления позволяют за считанные минуты переместить трафик запросов на доступ к данным S3, маршрутизируемый через многорегиональную точку доступа Amazon S3, в альтернативный регион AWS для тестирования и создания доступные приложения для обеспечения непрерывности бизнеса.
Существующая модель многорегиональной точки доступа рассматривает все регионы как активные и может отправлять трафик в любой из них. Модель, которую мы представляем сегодня, позволяет обозначить регионы как активные или пассивные. Бакеты в активных регионах получают трафик (запросы GET, PUT и другие) от многорегиональной точки доступа, корзины в пассивных регионах — нет (поэтому подтверждение мультирегиональности активно-активно сегодня не готово («запись в основной регион» модель всегда предлагается архитектором Amazon)?).
Новинка — объявляем об эластичной пропускной способности Amazon EFS
Этот новый режим пропускной способности предназначен для предоставления вашим приложениям такой пропускной способности, которая им необходима, с оплатой по мере использования.
Новинка в AWS Backup — защита и восстановление стеков CloudFormation
Теперь у вас есть автоматизированное решение для создания и восстановления приложений с упрощенным интерфейсом, исключающее необходимость управления пользовательскими сценариями.
Новинка — поддержка Amazon Redshift в AWS Backup
AWS Backup позволяет вам определить централизованную политику резервного копирования для управления защитой данных ваших приложений, а теперь также может защищать ваши кластеры Amazon Redshift.
Объявление об автоматическом возврате на резерв в AWS для AWS Elastic Disaster Recovery
Новая автоматизированная поддержка обеспечивает упрощенный и ускоренный процесс восстановления после сбоя инстансов Amazon Elastic Compute Cloud (Amazon EC2) в исходный регион, а также процессы отработки отказа и восстановления после сбоя. (для локального восстановления или восстановления в AWS) можно удобно запустить из Консоли управления AWS. AWS Elastic Disaster Recovery (DRS) непрерывно реплицирует размещенные на сервере приложения и базы данных из любого источника в AWS, используя репликацию базового сервера на уровне блоков.
Инфраструктура
Вычислить
Новый AWS SimSpace Weaver — запуск крупномасштабных пространственных симуляций в облаке
SimSpace Weaver позволяет запускать симуляции в масштабе нескольких инстансов Amazon EC2. Он поддерживает моделирование более миллиона независимых и динамических объектов. Предоставляется SDK приложения SimSpace Weaver, и SimSpace Weaver управляет разделами состояния моделирования.
Новинка — ускорьте свои функции Lambda с помощью Lambda SnapStart
Включение Lambda SnapStart для функций Java может ускорить их запуск до 10 раз без дополнительных затрат.
Новинка — ENA Express: улучшенная сетевая задержка и производительность для каждого потока на EC2
Джефф Барр рассказывает, как ENA/Elastic Network Adapter Express дает вам гораздо большую пропускную способность для каждого потока с гораздо меньшей изменчивостью. ENA Express снижает задержку потоков трафика P99 до 50 % и задержку P99.9 до 85 % (по сравнению с TCP), а также увеличивает максимальную пропускную способность одного потока с 5 Гбит/с до 25 Гбит/с.
Новые инстансы Amazon EC2 общего назначения, оптимизированные для вычислений и памяти с более высокой производительностью обработки пакетов
Новые семейства инстансов предназначены для поддержки ваших рабочих нагрузок с интенсивным использованием данных благодаря высочайшей производительности EBS в EC2 и возможности обрабатывать в два раза больше пакетов в секунду (PPS), чем более ранние экземпляры.
Новые типы инстансов Amazon EC2 в разработке — C7gn, R7iz и Hpc7g
Джефф Барр рассказывает о трех перспективных новых типах инстансов: инстансы C7gn предназначены для самых ресурсоемких сетевых рабочих нагрузок; Инстансы Hpc7g на базе процессоров AWS Graviton3E предназначены для обеспечения наилучшего соотношения цены и производительности для тесно связанных ресурсоемких высокопроизводительных вычислений и распределенных вычислительных рабочих нагрузок; Инстансы R7iz с высокой производительностью и памятью DDR5 предназначены для автоматизации проектирования электроники (EDA), финансовых, актуарных и имитационных рабочих нагрузок.
Новинка — Amazon ECS Service Connect упрощает обмен данными между микросервисами
Эта новая возможность упрощает создание и эксплуатацию отказоустойчивых распределенных приложений. Вы можете добавить уровень устойчивости к обмену данными службы ECS и получать информацию о трафике без внесения изменений в код приложения.
AWS объявляет об инстансах Amazon EC2 Inf2 (предварительная версия)
Эти новые инстансы предназначены для обеспечения высокой производительности при минимальных затратах в Amazon EC2 для самых требовательных приложений логического вывода на основе глубокого обучения (DL).
Объявляем о доступности образов Microsoft Office Amazon Machine Images (AMI) на Amazon EC2 с лицензиями, предоставленными AWS
Благодаря этому предложению клиенты могут запускать зависимые от Microsoft Office приложения в EC2.
Контейнеры
Новинка — AWS Marketplace для контейнеров теперь поддерживает прямое развертывание в кластерах Amazon EKS
Этот новый запуск упрощает поиск стороннего ПО для работы Kubernetes с консоли Amazon EKS и развертывание его в кластерах EKS с помощью те же команды, что и для развертывания надстроек EKS.
Инструменты управления
Новинка — правила AWS Config теперь поддерживают проактивное соответствие
В этом выпуске правила AWS Config расширены для поддержки упреждающего режима, чтобы их можно было запускать в любое время до подготовки и экономить время, затрачиваемое на реализацию настраиваемых проверок перед развертыванием.
Новое в AWS Control Tower — Комплексное управление средствами контроля (предварительная версия)
Вы можете использовать новую возможность для применения управляемых профилактических, обнаруживающих и упреждающих средств контроля к аккаунтам и организационным подразделениям по службам, целям контроля или структуре соответствия.
Защита конфиденциальных данных с помощью журналов Amazon CloudWatch
Этот новый набор возможностей для журналов Amazon CloudWatch использует сопоставление с образцом и машинное обучение (ML) для обнаружения и защиты конфиденциальных данных журналов при передаче.
Новинка — Amazon CloudWatch Cross-Account Observability
Эта новая возможность позволяет искать, анализировать и сопоставлять данные телеметрии между аккаунтами, хранящиеся в CloudWatch, такие как метрики, журналы и трассировки.
Amazon CloudWatch Internet Monitor обеспечивает сквозную визуализацию производительности ваших приложений в Интернете (предварительная версия)
Эта новая возможность дает представление о том, как проблема с Интернетом может повлиять на производительность и доступность ваших приложений. Это позволяет сократить время, необходимое для диагностики проблем с Интернетом, с нескольких дней до нескольких минут.
Локальные зоны AWS теперь доступны в четырех новых городских районах
Локальные зоны AWS, такие как Azure Edge Zones, приближают центры обработки данных, управляемые AWS, к клиентам в городских районах.
Инструменты разработчика/DevOps
Инструменты разработчика
Представляем AWS Application Composer (предварительная версия)
AWS Application Composer помогает разработчикам упростить и ускорить проектирование, настройку и создание бессерверных приложений. Сервисы AWS можно перетаскивать и подключать к архитектуре приложения с помощью визуального холста AWS Application Composer на основе браузера.
Объявление об Amazon CodeCatalyst, унифицированной службе разработки программного обеспечения (предварительная версия)
Amazon CodeCatalyst позволяет командам разработчиков программного обеспечения быстро и легко планировать, разрабатывать, совместно работать над созданием и поставлять приложения на AWS, уменьшая трения на протяжении всего жизненного цикла разработки. Создание среды разработки с помощью Cloud9, аналогично Azure DevTest Labs.
Интеграция приложений
Новинка — создавайте двухточечные интеграции между производителями и потребителями событий с помощью Amazon EventBridge Pipes
С помощью Amazon EventBridge Pipes вы можете интегрировать поддерживаемые AWS и самоуправляемые сервисы в качестве производителей и потребителей событий в свое приложение в простой, надежный, последовательный и экономичный способ.
Распределенная карта Step Functions — бессерверное решение для крупномасштабной параллельной обработки данных
Новое состояние распределенной карты может запускать до десяти тысяч параллельных рабочих процессов для обработки данных.
Новое состояние распределенной карты позволяет вам писать пошаговые функции для координации крупномасштабных параллельных рабочих нагрузок в ваших бессерверных приложениях. Теперь вы можете перебирать миллионы объектов, таких как журналы, изображения или файлы .csv, хранящиеся в Amazon Simple Storage Service (Amazon S3). Новое распределенное состояние карты может запускать до десяти тысяч параллельных рабочих процессов для обработки данных.
Безопасность, идентификация и соответствие
Объявление о внешнем хранилище ключей AWS KMS (XKS)
Эта новая возможность позволяет хранить ключи, управляемые клиентом AWS KMS, в аппаратном модуле безопасности (HSM), который вы используете локально или в любом месте по вашему выбору.
Amazon Inspector теперь сканирует лямбда-функции AWS на наличие уязвимостей
До сих пор клиентам, которые хотели проанализировать свои смешанные рабочие нагрузки (включая инстансы EC2, образы контейнеров и лямбда-функции) на наличие распространенных уязвимостей, необходимо было использовать AWS и сторонние инструменты. .
Автоматическое обнаружение данных для Amazon Macie
Эта новая возможность позволяет получить представление о том, где находятся ваши конфиденциальные данные в Amazon Simple Storage Service (Amazon S3), за небольшую часть затрат на выполнение полной проверки данных во всех ваших Ковши S3.
AWS объявляет о проверенных разрешениях Amazon (предварительная версия)
Эта центральная детальная система управления разрешениями упрощает изменение и обновление правил разрешений в одном месте без необходимости изменения кода. Он обслуживает варианты использования авторизации RBAC и ABAC с языком политики под названием CEDAR. Было бы интересно сравнение с OPA.
permit(
principal == User::"John",
action == Action::"view",
resource
)
when {
resource in Folder::"John's Stuff" &&
context.authenticated == true
};
Промышленность
Amazon Connect — это решение контакт-центра как услуги (CCaS). Благодаря прогнозированию, планированию емкости и расписанию Amazon Connect клиенты могут надежно достигать целевых уровней обслуживания и изящно ориентироваться в колебаниях потребительского спроса.
Часть портфолио сервисов Health AI (A mazon HealthLake, Amazon Comprehend Medical, Amazon Transcribe Medical), содержит
- Omics-оптимизированное объектное хранилище, которое помогает клиентам эффективно и недорого хранить и обмениваться своими данными, а также конвертировать неоптимизированный VCF в оптимизированный формат (Apache Parquet).
- Управляемые вычисления для рабочих процессов биоинформатики, которые позволяют клиентам выполнять именно тот анализ, который они указали, не беспокоясь о предоставлении базовой инфраструктуры, поддерживая общий рабочий процесс WDL или Nextflow, обычно используемый в отрасли геномики.
- Оптимизированные хранилища данных для анализа вариантов в масштабе популяции.
Объявление о цепочке поставок AWS (предварительная версия)
AWS Supply Chain — это облачное приложение, которое объединяет данные и предоставляет практические аналитические данные на основе машинного обучения (ML), встроенную контекстную совместную работу и планирование спроса. AWS Supply Chain подключается к вашим существующим системам планирования ресурсов предприятия (ERP) и управления цепочками поставок без необходимости замены платформы, предоплаты за лицензирование или долгосрочных контрактов.
Не знаю, как по сравнению с Пониманием цепочки поставок Microsoft Dynamics, объявленным в Ignite 2021. Благодаря инвестициям Microsoft в OpenAI мы должны увидеть больше услуг с поддержкой ИИ.
