PosterLens: научные постеры в интерактивном виде

О чём урок

PosterLens — это приложение для iOS, которое превращает статичные научные постеры в интерактивные, глубокие аналитические данные с помощью OCR и ИИ. Созданное для хакатона Perplexity 2025, оно позволяет исследователям, медицинским научным сотрудникам (MSL) и медицинским писателям сканировать постеры и интерактивно изучать их с помощью естественного языка, извлекая смысл и мгновенно находя связанные исследования. Сканирование научных постеров с использованием камеры устройства и Apple Vision OCR Вопросы и ответы на естественном языке по содержанию постера с ответами на базе ИИ Интеграция семантического поиска с использованием Perplexity Sonar Pro для поиска связанных исследований Проверка цитирования с помощью PubMed E-utilities для академической точности Автоматически генерируемые исследовательские вопросы и направления будущих исследований Обработка на устройстве для конфиденциальности и производительности Интерактивный исследовательский опыт, превращающий статичный контент в динамические аналитические данные Устройство с iOS 17+ и камерой Xcode 15+ для разработки Учетная запись Apple Developer для распространения в App Store API key Perplexity (Sonar Pro) API key OpenAI (GPT-3.5) Доступ к PubMed E-utilities Добавьте ваши API key в конфигурацию проекта: Установка из App Store: Загрузите PosterLens из iOS App Store Сканирование постера: Наведите камеру на научный постер Обработка OCR: Apple Vision автоматически извлекает текстовое содержимое Задавайте вопросы: Используйте естественный язык для запроса содержимого постера Изучайте связанные исследования: Находите семантически связанные исследования через Sonar Pro Проверяйте цитирование: Проверяйте академические ссылки с интеграцией PubMed Фронтенд: Нативное приложение для iOS, созданное с помощью SwiftUI для современного UI/UX Обработка OCR: Фреймворк Apple Vision для извлечения текста из изображений Интеграция ИИ: API Perplexity Sonar Pro для семантического поиска и понимания контекста Естественный язык: GPT-3.5 для вопросов и ответов, а также интерпретации содержимого Академическая проверка: PubMed E-utilities для проверки цитирования Обработка на устройстве: Локальный OCR и обработка для конфиденциальности и производительности Улучшение исследований: Автоматическая генерация исследовательских вопросов и будущих направлений Репозиторий GitHub App Store

План урока

1. Возможности
2. Предварительные требования
3. Установка
4. Конфигурация
5. Использование
6. Описание кода
7. Ссылки