Register
Login
Resources
Docs Blog Datasets Glossary Case Studies Tutorials & Webinars
Product
Data Engine LLMs Platform Enterprise
Pricing Explore
Connect to our Discord channel

mobile-sam.md 9.8 KB

You have to be logged in to leave a comment. Sign In
comments description keywords
true Ultralytics рдорд╛рд░реНрдЧрджрд░реНрд╢рд┐рдХрд╛ рдореЗрдВ MobileSAM рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдФрд░ рдЙрд╕рдХреЗ рдкреНрд░рд╛рдпреЛрдЧрд╢рд╛рд▓рд╛ рддреБрд▓рдирд╛рддреНрдордХ рд╡рд┐рд╡реЗрдЪрди, рдореВрд▓ SAM рдХреЗ рд╕рд╛рде рддреБрд▓рдирд╛ рдФрд░ рдЗрд╕реЗ Ultralytics рдврд╛рдВрдЪреЗ рдореЗрдВ рдбрд╛рдЙрдирд▓реЛрдб рдФрд░ рдкрд░реАрдХреНрд╖рдг рдХреИрд╕реЗ рдХрд░реЗрдВред рдЕрдкрдиреЗ рдореЛрдмрд╛рдЗрд▓ рдРрдкреНрд▓рд┐рдХреЗрд╢рди рдХреЛ рдмреЗрд╣рддрд░ рдмрдирд╛рдПрдВред MobileSAM, Ultralytics, SAM, рдореЛрдмрд╛рдЗрд▓ рдРрдкреНрд▓рд┐рдХреЗрд╢рди, Arxiv, GPU, API, рдЫрд╡рд┐ рдПрдирдХреЛрдбрд░, рдорд╛рд╕реНрдХ рдбрд┐рдХреЛрдбрд░, рдореЙрдбрд▓ рдбрд╛рдЙрдирд▓реЛрдб, рдкрд░реАрдХреНрд╖рдг рдкрджреНрдзрддрд┐

MobileSAM рд▓реЛрдЧреЛ

рдореЛрдмрд╛рдЗрд▓ рд╕реЗрдЧрдореЗрдВрдЯ рдХреБрдЫ рднреА (MobileSAM)

рдореЛрдмрд╛рдЗрд▓SAM рдкреЗрдкрд░ arXiv рдкрд░ рдЕрдм рдЙрдкрд▓рдмреНрдз рд╣реИред

MobileSAM рдХреЗ рд╕рдВрдЪрд╛рд▓рди рдХрд╛ рдПрдХ рдкреНрд░рджрд░реНрд╢рди рдХрдореНрдкреНрдпреВрдЯрд░ рдкрд░ рдкрд╣реБрдВрдЪрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ рдЙрд╕ рдбреЗрдореЛ рд▓рд┐рдВрдХ рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗред Mac i5 CPU рдкрд░ рдкреНрд░рджрд░реНрд╢рди рдХрд░рдиреЗ рдореЗрдВ рд▓рдЧрднрдЧ 3 рд╕реЗрдХрдВрдб рдХрд╛ рд╕рдордп рд▓рдЧрддрд╛ рд╣реИред рд╣рдЧрд┐рдВрдЧ рдлреЗрд╕ рдбреЗрдореЛ рдкрд░рд┐рд╡реЗрд╢ рдФрд░ рдХрдо рдкреНрд░рджрд░реНрд╢рди рд╡рд╛рд▓реЗ рд╕реАрдкрд┐рдпреВ рдиреЗ рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛ рдХреЛ рдзреАрдореА рдХрд┐рдпрд╛ рд╣реИ, рд▓реЗрдХрд┐рди рдпрд╣ рдЕрднреА рднреА рдкреНрд░рднрд╛рд╡реА рдврдВрдЧ рд╕реЗ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИред

рдореЛрдмрд╛рдЗрд▓SAM Grounding-SAM, AnyLabeling, рдФрд░ Segment Anything in 3D рд╕рд╣рд┐рдд рд╡рд┐рднрд┐рдиреНрди рдкрд░рд┐рдпреЛрдЬрдирд╛рдУрдВ рдореЗрдВ рд▓рд╛рдЧреВ рд╣реИред

рдореЛрдмрд╛рдЗрд▓SAM рдПрдХ рдПрдХрд▓ GPU рдкрд░ 100k рдбреЗрдЯрд╛рд╕реЗрдЯ (рдореВрд▓ рдЫрд╡рд┐ рдХрд╛ 1%) рдХреЗ рд╕рд╛рде рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рд╣реЛрддрд╛ рд╣реИ рдФрд░ рдЗрд╕рдореЗрдВ рдПрдХ рджрд┐рди рд╕реЗ рдХрдо рд╕рдордп рд▓рдЧрддрд╛ рд╣реИред рдЗрд╕ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдХреЗ рд▓рд┐рдП рдХреЛрдб рднрд╡рд┐рд╖реНрдп рдореЗрдВ рдЙрдкрд▓рдмреНрдз рдХрд░рд╛рдпрд╛ рдЬрд╛рдПрдЧрд╛ред

рдЙрдкрд▓рдмреНрдз рдореЙрдбрд▓, рд╕рдорд░реНрдерд┐рдд рдХрд╛рд░реНрдп рдФрд░ рдСрдкрд░реЗрдЯрд┐рдВрдЧ рдореЛрдб

рдЗрд╕ рддрд╛рд▓рд┐рдХрд╛ рдореЗрдВ рдЙрдкрд▓рдмреНрдз рдореЙрдбрд▓, рдЙрдирдХреЗ рд╡рд┐рд╢рд┐рд╖реНрдЯ рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рд╡рдЬрди, рд╡реЗ рдХрд╛рд░реНрдп рдЬрд┐рдиреНрд╣реЗрдВ рд╡реЗ рд╕рдорд░реНрдерди рдХрд░рддреЗ рд╣реИрдВ, рдФрд░ рдЙрдирдХрд╛ рдЕрднрд┐рдиреНрдирддрдо рд╕рдВрдЧрддрддрд╛ рдХреЗ рд╕рд╛рде рд╡рд┐рднрд┐рдиреНрди рдСрдкрд░реЗрдЯрд┐рдВрдЧ рдореЛрдб (рдЗрдВрдлрд░реЗрдВрд╕, рд╡реИрдзрд╛рдирд┐рдХреА, рдкреНрд░рд╢рд┐рдХреНрд╖рдг, рдФрд░ рдирд┐рд░реНрдпрд╛рдд) рдкреНрд░рджрд░реНрд╢рд┐рдд рдХрд┐рдП рдЧрдП рд╣реИрдВ, рдЬрд┐рдиреНрд╣реЗрдВ рд╕рдорд░реНрдерд┐рдд рдореЛрдб рдХреЗ рд▓рд┐рдП тЬЕ emoji рдФрд░ рдЕрд╕рдорд░реНрдерд┐рдд рдореЛрдб рдХреЗ рд▓рд┐рдП тЭМ emoji рд╕реЗ рджрд░реНрд╢рд╛рдпрд╛ рдЧрдпрд╛ рд╣реИред

рдореЙрдбрд▓ рдкреНрд░рдХрд╛рд░ рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рд╡рдЬрди рд╕рдорд░реНрдерд┐рдд рдХрд╛рд░реНрдп рдЗрдВрдлрд░реЗрдВрд╕ рд╡реИрдзрд╛рдирд┐рдХреА рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдирд┐рд░реНрдпрд╛рдд
MobileSAM mobile_sam.pt рдЗрдВрд╕реНрдЯреЗрдВрд╕ рд╕реЗрдЧрдореЗрдВрдЯреЗрд╢рди тЬЕ тЭМ тЭМ тЬЕ

SAM рд╕реЗ MobileSAM рдореЗрдВ рдЕрдиреБрдХреВрд▓рди

MobileSAM рдореВрд▓ SAM рдХреА рддрд░рдл рд╕реЗ рд╕рдорд╛рди рдкрд╛рдЗрдкрд▓рд╛рдЗрди рдмрд░рдХрд░рд╛рд░ рд░рдЦрддрд╛ рд╣реИ, рд╣рдордиреЗ рдореВрд▓ рдХреА рдкреНрд░реА-рдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ, рдкреЛрд╕реНрдЯ-рдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ рдФрд░ рд╕рднреА рдЕрдиреНрдп рдЗрдВрдЯрд░рдлреЗрд╕реЛрдВ рдХреЛ рд╕рдореНрдорд┐рд▓рд┐рдд рдХрд░ рджрд┐рдпрд╛ рд╣реИред рдЗрд╕рд▓рд┐рдП, рд╡рд░реНрддрдорд╛рди рдореЗрдВ рдореВрд▓ SAM рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рд╡рд╛рд▓реЗ рд▓реЛрдЧ рдорд┐рдирд┐рдорд▓ рдкреНрд░рдпрд╛рд╕ рдХреЗ рд╕рд╛рде MobileSAM рдореЗрдВ рдЯреНрд░рд╛рдВрд╕рд┐рд╢рди рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред

MobileSAM рдореВрд▓ SAM рдХреЗ рд╕рдорд╛рди рдкрд╛рдЗрдкрд▓рд╛рдЗрди рдореЗрдВ рдЙрддреНрддрдо рдкреНрд░рджрд░реНрд╢рди рдХрд░рддрд╛ рд╣реИ рдФрд░ рдХреЗрд╡рд▓ рдЫрд╡рд┐ рдПрдиреНрдХреЛрдбрд░ рдореЗрдВ рдкрд░рд┐рд╡рд░реНрддрди рд╣реЛрддрд╛ рд╣реИред рд╡рд┐рд╢реЗрд╖ рд░реВрдк рд╕реЗ, рд╣рдо рдореВрд▓ рднрд╛рд░реАрд╡рдЬреНрдЮрд╛рдирд┐рдХ ViT-H рдПрдиреНрдХреЛрдбрд░ (632M) рдХреЛ рдПрдХ рдЫреЛрдЯреЗ Tiny-ViT (5M) рд╕реЗ рдмрджрд▓рддреЗ рд╣реИрдВред рдПрдХрд▓ GPU рдкрд░ MobileSAM рд▓рдЧрднрдЧ 12ms рдкреНрд░рддрд┐ рдЫрд╡рд┐ рдкрд░ рдСрдкрд░реЗрдЯ рдХрд░рддрд╛ рд╣реИ: 8ms рдЫрд╡рд┐ рдПрдиреНрдХреЛрдбрд░ рдкрд░ рдФрд░ 4ms рдорд╛рд╕реНрдХ рдбрд┐рдХреЛрдбрд░ рдкрд░ред

рд╡рд┐рдЯ-рдЖрдзрд╛рд░рд┐рдд рдЗрдореЗрдЬ рдПрдиреНрдХреЛрдбрд░реЛрдВ рдХреА рддреБрд▓рдирд╛ рдиреАрдЪреЗ рджреА рдЧрдИ рддрд╛рд▓рд┐рдХрд╛ рдкреНрд░рджрд╛рди рдХрд░рддреА рд╣реИ:

рдЫрд╡рд┐ рдПрдиреНрдХреЛрдбрд░ рдореВрд▓ SAM MobileSAM
рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ 611M 5M
рд╕реНрдкреАрдб 452ms 8ms

рдореВрд▓ SAM рдФрд░ MobileSAM рджреЛрдиреЛрдВ рдореЗрдВ рд╕рдорд╛рди рдкреНрд░реЙрдореНрдкреНрдЯ рдЧрд╛рдЗрдбреЗрдб рдорд╛рд╕реНрдХ рдбрд┐рдХреЛрдбрд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИ:

рдорд╛рд╕реНрдХ рдбрд┐рдХреЛрдбрд░ рдореВрд▓ SAM MobileSAM
рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ 3.876M 3.876M
рд╕реНрдкреАрдб 4ms 4ms

рдпрд╣рд╛рдВ рдкрд╛рдЗрдкрд▓рд╛рдЗрди рдХреА рддреБрд▓рдирд╛ рд╣реИ:

рдкреВрд░рд╛ рдкрд╛рдЗрдкрд▓рд╛рдЗрди (рдПрдиреНрдХреЛрдбрд░+рдбрд┐рдХреЛрдбрд░) рдореВрд▓ SAM MobileSAM
рдкреИрд░рд╛рдореАрдЯрд░реНрд╕ 615M 9.66M
рд╕реНрдкреАрдб 456ms 12ms

MobileSAM рдФрд░ рдореВрд▓ SAM рдХреЗ рдкреНрд░рджрд░реНрд╢рди рдХреЛ рдПрдХ рдмрд┐рдиреНрджреБ рдФрд░ рдмреЙрдХреНрд╕ рдХреЗ рд░реВрдк рдореЗрдВ рдкреНрд░рджрд░реНрд╢рд┐рдд рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред

рдмрд┐рдиреНрджреБ рдХреЗ рд░реВрдк рдореЗрдВ рдЫрд╡рд┐

рдмреЙрдХреНрд╕ рдХреЗ рд░реВрдк рдореЗрдВ рдЫрд╡рд┐

рдмреЗрд╣рддрд░ рдкреНрд░рджрд░реНрд╢рди рд╕реЗ MobileSAM рдореМрдЬреВрджрд╛ FastSAM рдХреА рддреБрд▓рдирд╛ рдореЗрдВ рд▓рдЧрднрдЧ 5 рдЧреБрдирд╛ рдЫреЛрдЯрд╛ рдФрд░ 7 рдЧреБрдирд╛ рддреЗрдЬ рд╣реИред рдЕрдзрд┐рдХ рд╡рд┐рд╡рд░рдг MobileSAM рдкреНрд░реЛрдЬреЗрдХреНрдЯ рдкреЗрдЬ рдкрд░ рдЙрдкрд▓рдмреНрдз рд╣реИрдВред

Ultralytics рдореЗрдВ MobileSAM рдХрд╛ рдкрд░реАрдХреНрд╖рдг

рдореВрд▓ SAM рдХреА рддрд░рд╣ рд╣реА, рд╣рдо Ultralytics рдореЗрдВ рдПрдХ рд╕реАрдзрд╛ рдкрд░реАрдХреНрд╖рдг рд╡рд┐рдзрд┐ рдкреНрд░рджрд╛рди рдХрд░рддреЗ рд╣реИрдВ, рдЬрд┐рд╕рдореЗрдВ рдмрд┐рдВрджреБ рдФрд░ рдмреЙрдХреНрд╕ рдкреНрд░реЙрдореНрдкреНрдЯреНрд╕ рджреЛрдиреЛрдВ рдХреЗ рд▓рд┐рдП рдореЛрдб рд╢рд╛рдорд┐рд▓ рд╣реИрдВред

рдореЙрдбрд▓ рдбрд╛рдЙрдирд▓реЛрдб

рдЖрдк рдпрд╣рд╛рдВ рд╕реЗ рдореЙрдбрд▓ рдбрд╛рдЙрдирд▓реЛрдб рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ hereред

рдмрд┐рдВрджреБ рдкреНрд░реЙрдореНрдкреНрдЯ

!!! Example "рдЙрджрд╛рд╣рд░рдг"

=== "Python"
    ```python
    from ultralytics import SAM

    # рдореЙрдбрд▓ рд▓реЛрдб рдХрд░реЗрдВ
    model = SAM('mobile_sam.pt')

    # рдмрд┐рдВрджреБ рдкреНрд░реЙрдореНрдкреНрдЯ рдкрд░ рдЖрдзрд╛рд░рд┐рдд рдПрдХ рд╕реЗрдЧрдореЗрдВрдЯ рдкреВрд░реНрд╡рд╛рдиреБрдорд╛рди рдХрд░реЗрдВ
    model.predict('ultralytics/assets/zidane.jpg', points=[900, 370], labels=[1])
    ```

рдмреЙрдХреНрд╕ рдкреНрд░реЙрдореНрдкреНрдЯ

!!! Example "рдЙрджрд╛рд╣рд░рдг"

=== "Python"
    ```python
    from ultralytics import SAM

    # рдореЙрдбрд▓ рд▓реЛрдб рдХрд░реЗрдВ
    model = SAM('mobile_sam.pt')

    # рдмреЙрдХреНрд╕ рдкреНрд░реЙрдореНрдкреНрдЯ рдкрд░ рдЖрдзрд╛рд░рд┐рдд рдПрдХ рд╕реЗрдЧрдореЗрдВрдЯ рдкреВрд░реНрд╡рд╛рдиреБрдорд╛рди рдХрд░реЗрдВ
    model.predict('ultralytics/assets/zidane.jpg', bboxes=[439, 437, 524, 709])
    ```

рд╣рдордиреЗ MobileSAM рдФрд░ SAM рджреЛрдиреЛрдВ рдХреЛ рдПрдХ рд╣реА API рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдЗрдореНрдкреНрд▓рд┐рдореЗрдВрдЯ рдХрд┐рдпрд╛ рд╣реИред рдЕрдзрд┐рдХ рдЙрдкрдпреЛрдЧ рдЬрд╛рдирдХрд╛рд░реА рдХреЗ рд▓рд┐рдП, рдХреГрдкрдпрд╛ SAM рдкреЗрдЬ рджреЗрдЦреЗрдВред

рд╕рдВрджрд░реНрдн рдФрд░ рдЖрднрд╛рд░

рдЕрдЧрд░ рдЖрдк рдЕрдкрдиреЗ рдЕрдиреБрд╕рдВрдзрд╛рди рдпрд╛ рд╡рд┐рдХрд╛рд╕ рдХрд╛рд░реНрдп рдореЗрдВ MobileSAM рдХрд╛ рдЙрдкрдпреЛрдЧрдпреЛрдЧреА рдкрд╛рддреЗ рд╣реИрдВ, рддреЛ рдХреГрдкрдпрд╛ рд╣рдорд╛рд░реЗ рдкреЗрдкрд░ рдХреЛ рд╕рд╛рдЗрдЯ рдХрд░рдиреЗ рдХрд╛ рд╡рд┐рдЪрд╛рд░ рдХрд░реЗрдВ:

!!! Quote "" === "BibTeX"

    ```bibtex
    @article{mobile_sam,
      title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
      author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
      journal={arXiv preprint arXiv:2306.14289},
      year={2023}
    }
Tip!

Press p or to see the previous file or, n or to see the next file

Comments

Loading...