Movatterモバイル変換


[0]ホーム

URL:


Skip to content

Navigation Menu

Search code, repositories, users, issues, pull requests...

Provide feedback

We read every piece of feedback, and take your input very seriously.

Saved searches

Use saved searches to filter your results more quickly

Sign up

Liga: Let Data Dance with ML Models

License

NotificationsYou must be signed in to change notification settings

komprenilo/liga

Repository files navigation

English: Liga |简体中文:理解机丨 Esperanto

Komprenilo: dancumigu datumojn kun Maŝinlernadaj Modeloj

Komprenilo estas generala kadro por etendi iun ajn SQL-motoron por subteni datumtraktadon uzante Maŝinlernadaj Modeloj. Ĝi havas la sekvajn karakterizaĵojnj:

  • Homamo & Neatako: malfermkoda programaro farita de Terano kaj por homaro
  • Skalebla: facile manipuli datumajn arojn de ajna grandeco
  • Fleksebla kaj facile uzabla: bon-desegnita SQL-etendan sintakson kajPython API
  • Etendebla: eblas integri kun iu ajn Maŝinlernadaj Modeloj per aldonaĵa mekanismo kaj modelo-registra sistemo

urbazante la kadron de Komprenilo, kun:

  • Uzant-definita funkcio (UDF)
  • Uzant-definita datumtipo (UDT)
  • Modela Tipo (Model Type)

oni povas provizi domajn-specifajn komprenilajn solvojn

DomajnoPYPIBildiga EkzemploEkzemplo de Datumtraktado
Vida Kompreniloligavision
Aŭda Komprenilo
Naturlingva Komprenilo
Prognozilo

Maŝinlernada Sistemo-Integriĝo

Kadro por Maŝinlernado

Model-registra Sistemo

Komprenilo V0.2.x subtenas la model-registran sistemon MLflow, sed tio ne signifas ke Komprenilo nur povas uzi ĉi tiun model-registran sistemon (MLflow).

Sistema Integriĝo de Datum-Traktado

Integriĝo kun SQL-motoro

Komprenilo V0.2.x realiĝas surbazante Apache Spark, sed ĝi ne estas alia malfermkoda projekto de Apache Spark. Spark SQL estas nur unu el la SQL-motoroj, al kiuj Komprenilo volas adaptiĝi.

SQL: ML_PREDICT

SELECT  id,  ML_PREDICT(yolov5, image)FROM cocodataset

SQL:Krei modelon

-- Create modelCREATE [OR REPLACE] MODEL model_name[USING liga_plugin_name][FOR model_type][LOCATION"uri"][OPTIONS (key1=value1,key2=value2,...)][RETURN dataType]

SQL:Administri modelon

-- Describe model{DESC | DESCRIBE } MODEL model_name;-- Show all modelsSHOW MODELS;-- Delete a modelDROP MODEL model_name;

Laborfluo

Sceno 1: Kompleta laborfluo:

Trejnado de modelo -> Konservado en modelo-registrejon -> Kreo de modelo -> Uzado de modelo

Notu: Nuntempe nur subtenas Python por la modelo-trajnado, ne SQL.

Sceno 2: Se la modelo jam trejniĝis, ĝi povas simpliĝi jene:

Kreo de modelo -> Uzado de modelo

Estas diversaj modoj por krei modelojn, ekzemple:

  • ŝarĝi publikajn antaŭ-trejnajn modelojn
  • ŝarĝi de privataj modelo-registraj sistemoj
  • ŝarĝi de URL

Sceno 3: Uzi modelon rekte

Uzi modelon

Notu: Ĉi tio dependas de persistanta modelo-katalogo (Model Catalog).

Historio

Komprenilo devenas de la projekto Rikai. Rikai estas kreita deChang She kajLei Xu. La unua versio publikiĝis je la 4-an de Aprilo, 2021. En la Kvara Tubi Hackathon,Darcy Shen kajRenkai Ge kreis la fork-projekton - Komprenilo el Rikai (#13).


[8]ページ先頭

©2009-2025 Movatter.jp