Open WebUI v0.3.30 현재 버전에서는 Anthropic API 서비스가 공식적으로 지원되지 않습니다.
pipelines를 활용해서 연결할 수 있는 방법을 소개 해 드립니다.
Open WebUI의 Pilelines 설치 & 연동 후 anthropic 파이프라인을 설정해주는 방법입니다.
⚡ Pipelines | Open WebUI
Welcome to Pipelines, an Open WebUI initiative. Pipelines bring modular, customizable workflows to any UI client supporting OpenAI API specs – and much more! Easily extend functionalities, integrate unique logic, and create dynamic workflows with just a
docs.openwebui.com
Open WebUI Pipelines이란?
Open-WebUI는 워크플로우를 생성할 수 없고 기본적으로 제공하는 UI에서 기능을 사용해야 하는 한계가 있는데요.
Open-WebUI Pipelines는 AI 워크플로우를 구축, 관리, 실행하기 위한 포괄적인 프레임워크입니다.
여기에 파이프라인을 활용하면 로직이나 필터같은 것을 붙일 수 있고 OpenAI 호환 API가 아니더라도 github에 올려져 있는 다양한 서비스 제공자를 활용할 수 있습니다. (연결 가능한 서비스 제공자는 아래 파이프라인 프로바이더 참고)
이 프로젝트는 다음과 같은 주요 특징을 갖추고 있습니다:
- 모듈식 설계: 복잡한 AI 작업을 관리 가능한 단위로 분할
- 유연한 통합: 다양한 AI 모델과 도구를 쉽게 연결
- 직관적인 인터페이스: 시각적 워크플로우 구성으로 사용 편의성 극대화
- 확장성: 다양한 규모의 프로젝트에 적용 가능
Pipelines로 할 수 있는 예시
- 함수 호출 파이프라인: 함수 호출을 쉽게 처리하고 맞춤형 로직으로 애플리케이션을 확장
- 맞춤형 RAG 파이프라인: 필요에 맞춘 고급 검색 증강 생성(RAG) 파이프라인을 구현
- Langfuse를 사용한 메시지 모니터링: Langfuse로 메시지 상호작용을 실시간으로 모니터링하고 분석
- 할당량 제한 필터: 요청의 흐름을 제어하여 할당량 제한을 초과하지 않도록 관리
- LibreTranslate 실시간 번역 필터: LLM 상호작용에 실시간 번역을 원활하게 통합
- 유해 메시지 필터: 유해 메시지를 감지하고 효과적으로 처리하는 필터를 구현
- 등등
설치
도커나 파이썬으로 설치 방법을 안내하고 있습니다. 아래 링크를 참고하세요.
⚡ Pipelines | Open WebUI
Welcome to Pipelines, an Open WebUI initiative. Pipelines bring modular, customizable workflows to any UI client supporting OpenAI API specs – and much more! Easily extend functionalities, integrate unique logic, and create dynamic workflows with just a
docs.openwebui.com
파이프라인 프로바이더 추가
pipelines/examples/pipelines/providers at main · open-webui/pipelines
pipelines/examples/pipelines/providers at main · open-webui/pipelines
Pipelines: Versatile, UI-Agnostic OpenAI-Compatible Plugin Framework - open-webui/pipelines
github.com
연결가능한 서비스 제공자
다양한 AI 모델 서비스 제공자가 보이네요. SKT 사용자라면 무료로 사용할 수 있는 perplexity도 있구요.
Open WebUI + Pipeline 연동
우선 Open WebUI에 파이프라인을 연동해줍니다.
기본설적대로 진행했으면 9099포트에 API 키는 0p3n-w3bu!로 설정됩니다.
Open WebUI > 관리자 패널 > 연결 에서 http://localhost:9099/v1 와 키를 입력해줍니다.
연결이 완료되면 파이프라인에 추가하려는 서비스 프로바이더 github url 을 넣어주면 됩니다.
pipelines/examples/pipelines/providers/anthropic_manifold_pipeline.py at main · open-webui/pipelines
Pipelines: Versatile, UI-Agnostic OpenAI-Compatible Plugin Framework - open-webui/pipelines
github.com
anthropic에서 생성한 key를 추가해주면
모델에 연동이 된 것을 확인할 수 있습니다.
대화도 가능하구요.
이런식으로 Open WebUI에서 기본 연결로 제공되지 않거나 OpenAI 호환 API가 아니더라도 pipelines github 저장소에 있는 프로바이더 파이프라인을 활용해서 쉽게 연동할 수 있습니다.
pipelines에고 제공하는 기능 중 한 가지에 대한 기능이니 다른 기능들도 알아두면 유용할 것 같습니다.