<html>
  <head>
    <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
  </head>
  <body>
    <div class="moz-cite-prefix">Am 11.03.20 um 21:46 schrieb Alexander
      Kanavin:<br>
    </div>
    <blockquote type="cite"
cite="mid:CANNYZj-BW-y=Ky_WLdGaJR6-5g-Ok00a7dRDTdnxuN3M7Vt5FQ@mail.gmail.com">
      <meta http-equiv="content-type" content="text/html; charset=UTF-8">
      <div dir="ltr">
        <div dir="ltr">On Wed, 11 Mar 2020 at 21:38, Stefan Kral &lt;<a
            href="mailto:sk@typedivision.de" moz-do-not-send="true">sk@typedivision.de</a>&gt;
          wrote:<br>
        </div>
        <div class="gmail_quote">
          <blockquote class="gmail_quote" style="margin:0px 0px 0px
            0.8ex;border-left:1px solid
            rgb(204,204,204);padding-left:1ex">I just started to
            evaluate the use of testexport.<br>
            <br>
            If you think about removing that feature, what is the
            preferred way to <br>
            test a deployed target image?<br>
            The idea here is to have two separate pipelines:<br>
            <br>
            1. build<br>
            - a target-image-test (same as target-image but additional
            test <br>
            facilities enabled, like ptest)<br>
            - the testexport output<br>
            <br>
            2. test<br>
            - fetch build results and install the target-image-test to
            the real hardware<br>
            - run the exported runtime tests (host and target based
            cases)<br>
            - check/save the generated testresults.json<br>
          </blockquote>
          <div><br>
          </div>
          <div>You can do all of these in a single pipeline using
            testimage:</div>
          <div><br>
          </div>
          <div>1. built target-image-test</div>
          <div>2. flash target-image-test to real hardware</div>
          <div>3. bitbake -c testimage target-image-test (set
            TEST_TARGET to 'simpleremote', and ip/port for ssh access in
            local.conf)</div>
          <div><br>
          </div>
          <div>Is there a reason you need two pipelines?</div>
          <div><br>
          </div>
          <div>Alex<br>
          </div>
        </div>
      </div>
    </blockquote>
    <p>Doing build and test in one pipeline turns out to be more
      complicated due to:</p>
    <p>- build machine may be different from test machine (with access
      to hardware)<br>
      - build the image is a one time job, tests may have to be repeated
      reproducibly<br>
      - executing long running tests slows down image creation (for
      development)<br>
      - tests on dedicated hardware should be runable asynchronously
      when hw is available</p>
    <p>Running tests by bitbake -c testimage could be an option but to
      provide a full repo/bitbake/cache setup to run test cases sounds
      not as easy as having just python installed. And for that,
      testexport does its job quite well.<br>
    </p>
    <p>Btw. have you ever thought about to integrate/support some
      external test framework (like robot framework)?<br>
    </p>
    <p>Stefan<br>
    </p>
  </body>
</html>