전체 글 67

Open WebUI : Anthropic API 연동 (With Pipelines)

Open WebUI v0.3.30 현재 버전에서는 Anthropic API 서비스가 공식적으로 지원되지 않습니다. pipelines를 활용해서 연결할 수 있는 방법을 소개 해 드립니다. Open WebUI의 Pilelines 설치 & 연동 후 anthropic 파이프라인을 설정해주는 방법입니다. ⚡ Pipelines | Open WebUI ⚡ Pipelines | Open WebUIWelcome to Pipelines, an Open WebUI initiative. Pipelines bring modular, customizable workflows to any UI client supporting OpenAI API specs – and much more! Easily extend functionali..

DEV/AI 2024.10.05

Open WebUI RAG 예시: 시스템 담당자 안내 챗봇

LLM을 어떻게 쉽게 활용할 수 있을까 궁금했던 것들을 실험하고 있습니다. 이 주제는 그 중 하나인데요. 파인 튜닝을 수행하지 않고 RAG + 시스템 프롬프트 + 파라미터 튜닝을 통해 이 정도 답변을 하더라 사례 정도로 봐주시면 되겠습니다. 주제는 시스템 담당자를 안내 해주는 챗봇 만들기 입니다. 아래와 같은 질문에 파인튜닝 없이 RAG로 답변을 제대로 해줄까?담당자 목록 알려줘.→ 문서에서 읽은 담당자 목록을 잘 표현해주는지 확인구매 요청 중 오류가 발생했는데 담당자가 누구야?→ 의미 분석을 통해 모듈을 잘 찾는지 확인생산 공정에서 품질 불량이 발생했어. 어떻게 처리 해야 해?→ 2가지 모듈에 대한 언급 하더라도 답변을 잘 할지 확인전표를 잘못 작성하고 상신했는데 취소 전 승인이 되어 버렸어.→ 돌려서..

DEV/AI 2024.09.26

Open WebUI : RAG를 이용한 실시간 검색 증강

이번 글에서는 RAG(Retrieval Augmented Generation)에 대해 소개하고, 이를 Open-WebUI에서 어떻게 활용할 수 있는지 알아보려고 합니다. RAG(Retrieval-Augmented Generation)란? RAG는 검색 기반 생성 기술로, 언어 모델이 응답을 생성할 때 내부 지식만 사용하는 것이 아니라 외부 데이터 소스에서 관련 정보를 검색하여 활용하는 방식입니다. 이를 통해 모델은 최신 정보나 특정 도메인에 대한 전문 지식을 실시간으로 반영할 수 있습니다. RAG의 작동 원리 검색(Retrieval): 사용자의 질문이나 프롬프트와 관련된 정보를 외부 데이터베이스 또는 지식 저장소에서 검색합니다.증강(Augmentation): 검색된 관련 정보를 원래의 프롬프트에 추가합니..

DEV/AI 2024.09.21

Open WebUI 설치와 운영 : AI 모델 활용을 위한 오픈소스 웹 인터페이스

Open WebUI란?Open-WebUI는 로컬에서 구동 가능한 LLM 모델을 웹 인터페이스로 제공하여 다수의 사용자가 동시에 접근하고 상호작용할 수 있는 환경을 제공합니다. 단일 사용자의 경우에도 편리하지만, 여러 사용자와의 협업이나 서비스 형태로 모델을 활용하고자 하는 경우 매우 괜찮은 솔루션입니다.웹 기반 상호작용: Open-WebUI는 웹 브라우저만 있으면 어디서든 접근할 수 있는 인터페이스를 제공합니다. 이를 통해 사용자는 설치 없이도 로컬에 설치된 LLM과 상호작용할 수 있습니다.다수 사용자 환경: 웹 인터페이스를 통해 다수의 사용자가 동시에 LLM을 사용할 수 있기 때문에, 기업 내 혹은 연구소 등에서 LLM을 협업 도구로 활용하기에 적합합니다.그런데.. 우리 모두가 LLM을 구동할 만큼 괜..

DEV/AI 2024.09.15

Ollama 설치와 운영 : 로컬 환경에서 대규모 언어 모델을 쉽게 실행하기

최근 LLM 서비스들이 점점 더 널리 사용되고 있지만, 개인정보 보호와 비용 문제로 인해 고민하는 사용자들이 많습니다. 특히 폐쇄망 환경에서 오픈소스 기반 모델을 로컬 환경에서 실행할 수 있다면 이러한 고민들이 해소가 되겠죠. Ollama는 클라우드에 의존하지 않고, 개인 컴퓨터에서 대형 언어 모델을 직접 실행할 수 있는 솔루션으로, 인터넷 연결이 불필요한 폐쇄망에서도 동작할 수 있어 괜찮은 대안이 될 수 있습니다. 지금부터 공개된 LLM 모델들을 로컬에서 직접 실행하고 관리할 수 있도록 해주는 Ollama에 대해 알아보겠습니다. ollama 만을 활용해 llama 3.1 모델로 추론할 경우 아래와 같이 활용될 수 있습니다.    그런데 우리가 AI를 활용하여 서비스를 만들거나 ChatGPT같은 사이트를..

DEV/AI 2024.09.13

[HomeAssistant] 지그비 코디네이터 네트워크 방식으로 변경하기 (feat.SLZB-06)

SLZB-06은?SMLIGHT에서 만든 Zigbee 어댑터로, 다양한 Zigbee 장치를 하나의 시스템으로 통합하기 위해 여러 가지 연결 방법을 지원합니다.Ethernet, WiFi, USB 세 가지 모드를 지원USB를 통합 전원, 전기를 사용하기 어려운 곳에서 PoE 활용 가능유선 랜 연결이 어려운 환경에서 WiFi를 이용한 연결을 지원SLZB-06, SLZB-06M, SLZB-06P 세부 모델에 따라 zigbee 칩셋이 다릅니다.   저는 네이버 HA 까페 쬐끔전문가님 코디네이터(CC2652P) → SONOFF Zigbee 3.0 USB Dongle Plus-P(cc2652p) 로 기변을 했어서 기존 장치들 새로 페어링을 하지 않으려고 동일 칩셋인 SLZB-06으로 구매 하였습니다. 분기에 한번 정도..

IOT 2024.06.19

로지텍 G603 더블클릭 현상 수리 후기

3년 정도 사용하니 왼쪽 마우스 클릭이 더블 클릭이 되는 현상이 생겼습니다. 부품을 수급할 수 있는지 확인해 보고 보증기간이 지나서… 셀프로 수기를 진행 해보았습니다. 옴론 스위치만 납땜해서 교체하는 방법도 있습니다.  부품 구입  아래 사진 왼쪽이 배송 온 교체할 부품입니다.   분해 마우스 아래쪽 고무같은 걸 제거하면 나사 4개를 제거할 수 있었어요.  앞뒤로 동그라미 부분에 걸쇠가 있습니다.    케이블 2개 분리하면 상하 분리가 가능해 집니다.  나사 5개를 추가로 분해하고  스위치는 감싸고 있는 고정 플라스틱도 분해해주면 교체할 부품 전체를 분해할 수 있었습니다.   교체 전 부품은 Rev.006인데 교체하려고 주문한 부품은 Rev.004 네요..구매시점에 확인이 가능하면 미리 확인하는게 좋을 ..

기타 2024.06.15

다이슨 장난감 청소기 버튼고장 수리후기

집에 다이슨 장난감 청소기가 있어요.     첫째가 엄마 청소할 때 자기도 하고 싶다고 해서 장난감을 사줬다고 하네요. 청소할 때 마다 같이 하겠다며 따라다는게 어찌나 귀엽던지..  한동안 잘 사용하다가 고장났다고 들고 왔길래 처음엔 그냥 버리고 새거 사라고 했다가 가격듣고..  사악하네요.  납땜부위가 떨어졌겠지 싶어 pinecil 인두기 사둔거 첫 개시겸 열어봤습니다.  1. 건전지 덮개 분해  2. 옆면 나사 풀기   3. 뒷통수? 빼기 잘 안빠져서 나중에 보니 걸쇠가 있었네요. 그냥 힘껏 당겨서 부쉈어요.   4. 고장 부품 확인하기 + 선에 버튼 연결되어 있었고 모터 고장인지 확인해보려고 버튼 없이 쇼트시켜보니 모터는 동작하네요. 버튼 쪽에 멀티미터 찍어보니 거기가 고장이네요. 예전에 만들게 있..

기타 2024.05.20

[HomeAssistant] UPS + Synology + HA 연동 활용하기

UPS(Uninterruptible Power Supply)는 무정전 전원 공급장치인데요. 가정에서 쓸만한 적당한 용량 제품을 구매해서 설치 해봤습니다. Synology에 있는 네트워크 UPS 서버 활성화를 통해서 HA에서 모니터링 + 자동화 구성이 가능하구요. 이것저것 자동화 걸어둘 수 있어서 정전 상황에서 다양하게 활용이 가능합니다. 제품 정보 https://prod.danawa.com/info/?pcode=16772675 APC BX950MI-GR : 다나와 가격비교 컴퓨터/노트북/조립PC>PC주요부품>파워, APC BX950MI-GR, 요약정보 : UPS / 출력 전압: 230V / 520W / 950 VA / 허용 입력 전압: 230V / 50/60Hz / 6~8시간 / 6.5분 / 1분 pro..

IOT 2024.02.07

[HomeAssistant] 지그비 코디네이터 교체하기

HA에서 zigbee 장치들을 활용하기 위해선 zigbee 코디네이터가 필요합니다. 이 코디네이터와 HA에서 z2m 또는 ZHA를 활용해서 zigbee 장치들을 활용할 수 있게 되는데요. zigbee 네트워크에 코디네이터는 한 장치만 설정할 수 있고, 일부 기기 또는 추가 코디네이터로 라우터 역할을 수행할 수 있습니다. 이 글은 코디네이터를 교체한 경험입니다. 최근 z2m이 버전이 오르면서 업데이트가 있었는데 공교롭게도 엔드디바이스 일부가 오프라인으로 바뀌면서 애드온 시작이 안 되는 현상이 있었습니다. 나타난 증상은 기기 오프라인 다수, z2m 시작불가 (usb 인식문제로 추측) 현상이 있었습니다. 이참에 코디네이터 펌웨어 업데이트를 해줬는데 문제가 해결되지 않아서 z2m 버전을 다운그레이드 했는데 ..

IOT 2024.01.10