О чём урок
PosterLens — это приложение для iOS, которое превращает статичные научные постеры в интерактивные, глубокие аналитические данные с помощью OCR и ИИ. Созданное для хакатона Perplexity 2025, оно позволяет исследователям, медицинским научным сотрудникам (MSL) и медицинским писателям сканировать постеры и интерактивно изучать их с помощью естественного языка, извлекая смысл и мгновенно находя связанные исследования.
- Сканирование научных постеров с использованием камеры устройства и Apple Vision OCR
- Вопросы и ответы на естественном языке по содержанию постера с ответами на базе ИИ
- Интеграция семантического поиска с использованием Perplexity Sonar Pro для поиска связанных исследований
- Проверка цитирования с помощью PubMed E-utilities для академической точности
- Автоматически генерируемые исследовательские вопросы и направления будущих исследований
- Обработка на устройстве для конфиденциальности и производительности
- Интерактивный исследовательский опыт, превращающий статичный контент в динамические аналитические данные
- Устройство с iOS 17+ и камерой
- Xcode 15+ для разработки
- Учетная запись Apple Developer для распространения в App Store
- API key Perplexity (Sonar Pro)
- API key OpenAI (GPT-3.5)
- Доступ к PubMed E-utilities
Добавьте ваши API key в конфигурацию проекта:
- Установка из App Store: Загрузите PosterLens из iOS App Store
- Сканирование постера: Наведите камеру на научный постер
- Обработка OCR: Apple Vision автоматически извлекает текстовое содержимое
- Задавайте вопросы: Используйте естественный язык для запроса содержимого постера
- Изучайте связанные исследования: Находите семантически связанные исследования через Sonar Pro
- Проверяйте цитирование: Проверяйте академические ссылки с интеграцией PubMed
- Фронтенд: Нативное приложение для iOS, созданное с помощью SwiftUI для современного UI/UX
- Обработка OCR: Фреймворк Apple Vision для извлечения текста из изображений
- Интеграция ИИ: API Perplexity Sonar Pro для семантического поиска и понимания контекста
- Естественный язык: GPT-3.5 для вопросов и ответов, а также интерпретации содержимого
- Академическая проверка: PubMed E-utilities для проверки цитирования
- Обработка на устройстве: Локальный OCR и обработка для конфиденциальности и производительности
- Улучшение исследований: Автоматическая генерация исследовательских вопросов и будущих направлений
- Репозиторий GitHub
- App Store
План урока
- Возможности
- Предварительные требования
- Установка
- Конфигурация
- Использование
- Описание кода
- Ссылки
Урок входит в полный доступ. Полный текст и видео открываются после оплаты. Первые уроки каждого курса бесплатны.